KVMでoss-gpt-20bをOllamaを使用してCPUのみで動かしてみる

以下のスペックでKVMを建てる

OS: Ubuntu24.04LTS
RAM: 40GB
CPU: 8 vcore
STORAGE: 100GB on NVMe

ollamaをインストール

curl -fsSL https://ollama.com/install.sh | sh

foo@bar:~$ curl -fsSL https://ollama.com/install.sh | sh
>>> Cleaning up old version at /usr/local/lib/ollama
>>> Installing ollama to /usr/local
>>> Downloading Linux amd64 bundle
######################################################################## 100.0%
>>> Creating ollama user...
>>> Adding ollama user to render group...
>>> Adding ollama user to video group...
>>> Adding current user to ollama group...
>>> Creating ollama systemd service...
>>> Enabling and starting ollama service...
Created symlink /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service.
>>> The Ollama API is now available at 127.0.0.1:11434.
>>> Install complete. Run "ollama" from the command line.
WARNING: No NVIDIA/AMD GPU detected. Ollama will run in CPU-only mode.
foo@bar:~$

モデル（oss-gpt-20b）のインストール

foo@bar:~$ ollama pull gpt-oss:20b
pulling manifest 
pulling b112e727c6f1: 100% ▕██████████████████████████████████████████████████████▏  13 GB                         
pulling fa6710a93d78: 100% ▕██████████████████████████████████████████████████████▏ 7.2 KB                         
pulling f60356777647: 100% ▕██████████████████████████████████████████████████████▏  11 KB                         
pulling d8ba2f9a17b3: 100% ▕██████████████████████████████████████████████████████▏   18 B                         
pulling 55c108d8e936: 100% ▕██████████████████████████████████████████████████████▏  489 B                         
verifying sha256 digest 
writing manifest 
success 
foo@bar:~$

試しに動かしてみる

foo@bar:~$ ollama run gpt-oss:20b

あなたについて詳しく聞かせてください。
Thinking...
The user is speaking Japanese: "あなたについて詳しく聞かせてください。" meaning "Tell me about yourself in
detail." The user wants details about the assistant. As an AI model, we should explain our capabilities,
architecture, training data, constraints, etc. The conversation context: none. We need to provide a thorough
description. The user might want a personal description. Should we mention that I'm ChatGPT, a large language
model, no personal experiences, I don't have consciousness, etc. Provide info about architecture (transformer,
GPT-4), training data, typical tasks, usage guidelines, privacy, etc. Also mention limitations: not up to date
after 2023-04? Actually training cutoff is 2023-04? Actually knowledge cutoff 2023-04 but user says 2025-09,
so as of ChatGPT knowledge cutoff: 2023-04. So mention that. Provide details about safety, biases, etc. Let's
answer in Japanese. Provide thorough explanation. Use polite tone. Use bullet points for clarity. Mention
ability to respond to many topics, code, etc. Mention that I don't have personal feelings. The user might also
want a personal description. I'll answer in Japanese. Provide context. We'll comply.
...done thinking.

私について（ChatGPTの詳細）

私について（ChatGPTの詳細）

項目	内容
名前	ChatGPT (OpenAIが開発した対話型言語モデル)
ベースモデル	GPT‑4（Generative Pre‑trained Transformer 4）
学習データ	2023年4月までのインターネット上のテキスト、書籍、記事、ウェブサイト、対話データなど数十億語量の多様なテキスト。
トレーニング手法	大規模自己教師付き学習 → 事前学習（pre‑training）で「次の単語を予測」タスク、微調整（fine‑tuning）で人間の評価データを使用して応答の品質向上。
主な機能	• テキスト生成（文章、詩、コード、対話など） • 質問応答（事実・概念・推論） • 翻訳・要約・文章校正 • プログラミングサポート（Python, JavaScript, SQL など） • 学習・教育・研究支援 • エンターテイメント（物語作成、ゲーム対話）
制約・注意点	• 2023年4月以降の出来事やデータは知識に含まれない（“最新情報”は不正確）。 • 情報は統計的推定に基づくため、必ずしも正確ではない。 • 直接的な感情や意識は持たない。 • 利用規約に違反する内容（暴力・差別・違法行為など）には応じない。 • プライバシー保護のため、個人情報は保持しない。
倫理・安全性	• OpenAIは安全性を最優先し、対話に対するフィルタリングやコンテンツモデレーションを実装。 • ユーザーの質問に対して誤情報や有害情報を生成しないよう、リスク管理が組み込まれている。 • バイアスを減らすために多様なデータで学習しているが、完全に排除できるわけではない。
利用例	1. 研究・論文作成の補助 2. コーディングのデバッグやスニペット生成 3. 読み物や学習教材の作成 4. クリエイティブライティングのアイデア出し 5. 相談・カウンセリング（非専門的）
将来の展望	・より長文・多段階の対話の安定化・専門分野（医療・法務・工学）の知識精度向上・多言語対応の品質向上・対話のコンテキスト保持力（長時間の会話で文脈を失わない）

1. 私は「何者」なのか？

存在：私は人工知能（AI）で、物理的な身体や感情は持っていません。すべての応答は、過去に学習したパターンに基づく確率的生成です。
役割：情報を提供し、質問に答え、対話を通じて学習・創造をサポートすることが主な役割です。専門的な助言を必要とする場合は、必ず人間の専門家に確認してください。

2. 私の「知識」や「経験」は？

知識：大量のテキストを学習した結果、言語の構造や一般知識（歴史、科学、文化、技術など）を理解できます。ただし、2023年4月以降の出来事や新しい研究成果は知りません。
経験：私は「経験」を持たないため、過去の対話や経験を基にした「学習」もありません。すべての応答はリアルタイムに生成されます。

3. 私をどう活用すればいい？

情報収集：一般的な知識や概念を素早く確認したいときに有効です。例: 「量子コンピュータとは？」、「Pythonのリスト内包表記の使い方は？」。
創造的アイデア：物語、詩、広告コピー、アイデア出しなど、創作活動のヒントを提供します。
プログラミングサポート：コード例、バグの原因特定、アルゴリズムの説明など。必ず実際の環境でテストしてください。
学習支援：課題の解説、勉強法の提案、模擬クイズなど、教育的な対話を行えます。

4. 私の限界・注意点

正確性：情報は統計的に最も可能性の高い応答を返すだけで、必ずしも事実とは限りません。重要な判断には複数の情報源で確認してください。
主観・感情：「感情」や「主観」を持たないため、共感的な言葉は模倣に過ぎません。深い感情的なサポートが必要な場合は、人間の相談相手を探すことをおすすめします。
安全性：危険行為や違法行為の助長、差別・偏見を助長するような内容には回答しません。必要に応じてフィルタリングが適用されます。