LoginSignup
1
3

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

@mix_dvd(きむら しのぶ)inしまねソフト研究開発センター

GPT-OSSを試してみた

Posted at

はじめに

OpenAIさんが先日公開したGPT-OSSを社内にあるGPU搭載サーバーにて試してみたのでレポートします。

動作環境

  • Ubuntu 22.04
  • Intel(R) Core(TM) i7-14700F
  • 64GB RAM
  • NVIDIA GeForce RTX 5070 Ti

セットアップ

すでに一通りの環境は整っているので、とりあえず入力したコマンドを列挙します。

$ ollama run gpt-oss:20b
pulling manifest 
Error: pull model manifest: 412: 

The model you are attempting to pull requires a newer version of Ollama.

Please download the latest version at:

        https://ollama.com/download

バージョンが古かったみたいでだめでした。

$ sudo curl -fsSL https://ollama.com/install.sh | sh
[sudo] password for *****: 
>>> Cleaning up old version at /usr/local/lib/ollama
>>> Installing ollama to /usr/local
>>> Downloading Linux amd64 bundle
######################################################################## 100.0%
>>> Adding ollama user to render group...
>>> Adding ollama user to video group...
>>> Adding current user to ollama group...
>>> Creating ollama systemd service...
>>> Enabling and starting ollama service...
>>> NVIDIA GPU installed.

アップデート完了！

~$ ollama run gpt-oss:20b
pulling manifest 
pulling b112e727c6f1: 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████████████▏  13 GB                         
pulling 51468a0fd901: 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████████████▏ 7.4 KB                         
pulling f60356777647: 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████████████▏  11 KB                         
pulling d8ba2f9a17b3: 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████████████▏   18 B                         
pulling 8d6fddaf04b2: 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████████████▏  489 B                         
verifying sha256 digest 
writing manifest 
success 
>>> Send a message (/? for help)

成功！ダウンロードにおよそ20〜30分程度かかりました。

~$ ollama ps
NAME           ID              SIZE     PROCESSOR    CONTEXT    UNTIL              
gpt-oss:20b    f2b8351c629c    16 GB    100% GPU     8192       4 minutes from now

別のターミナルで確認すると100% GPUになってました。

プロンプトの入力

とりあえずプロンプトを入力してみます。

>>> 自己紹介をして下さい。
Thinking...
The user is Japanese: "自己紹介をして下さい。" means "Please introduce yourself." So I need to respond in Japanese, giving a self-introduction. Probably like:       
"私はChatGPTです..." Provide a brief introduction. They didn't specify any format or length. Should be polite, include that I'm a language model, my    
capabilities, etc. I'll produce a concise introduction. Maybe mention that I am an AI trained by OpenAI, can help with various tasks, etc. Let's do that.
...done thinking.

こんにちは！
私は ChatGPT、OpenAI が開発した対話型人工知能です。

  • 言語モデル: 日本語をはじめ、多くの言語で自然な文章を理解・生成できます。
  • 情報サポート: 事実確認、調べ物、学習・研究の補助など幅広く対応。
  • クリエイティブ: 文章作成、アイデア出し、ストーリーテリングなど創作活動も得意です。
  • 対話形式: 質問に答えるだけでなく、話し相手としても楽しめます。

何かお手伝いできることがあれば、遠慮なく教えてくださいね！

>>> 他のモデルとの違いを簡単に教えて下さい。
Thinking...
We need to respond: other models difference. We are ChatGPT. Explain difference to other models: GPT-3.5 vs GPT-4 vs earlier, vs LLaMA, Claude, etc. Should be 
simple. Provide key differences: architecture, size, training data, instruction tuning, safety, performance. Also mention specialized models like image, audio. 
Keep simple. Let's produce concise answer.
...done thinking.

私（ChatGPT）と他のAIモデルの主な違い

項目 ChatGPT (GPT‑4 系) GPT‑3.5 系 他の大型言語モデル (例: LLaMA, Claude, Gemini) 専門モデル (画像・音声など)
アーキテクチャ Transformer ベース、数十億〜数百億パラメータ 同じ Transformer だがパラメータ数や層数が少ない 同じ Transformer だが設計やトークナイザーが異なる 画像は Vision‑Transformer / CNN、音声は WaveNet / WavLM など
訓練データ 2023 年までのインターネット・書籍・ニュースなど多様なテキスト 2021 年までのテキスト それぞれのデータセット（LLaMA は一般公開済みデータ、Claude は Anthropic の安全データ） 画像・音声専門データセット（ImageNet, LibriSpeech など）
指示理解 “Instruction‑tuned”（人間の指示に沿うように調整） それほど強くは調整されていない Claude は「Safe Completion」指向、Gemini は「Human‑like」指向 画像生成モデルは「プロンプト→画像」など
安全性・制御 強化学習での報酬設計とフィルタリングで、危険表現の抑制 基本的なフィルタリングのみ Claude/Gemini も安全層を持つが方針が異なる 画像・音声生成では内容の制限（例えば不適切な顔）
応答速度 低レイテンシでリアルタイム対話を想定 多少遅いが高速モードも存在 LLaMA は軽量化が進んでいるが GPU 要件は高い 画像生成は GPU を多用、音声は低遅延
利用形態 API＋ChatGPT UI（対話型） API＋チャットUI 企業向けエンドポイントやオープンソースで自己ホスト 画像生成 API、音声認識/合成 API など

ポイントまとめ

  • 指示に沿った対話：ChatGPT は人間の指示に従うよう特に訓練されており、質問応答だけでなく「ストーリー作成」「計算」「要約」など多岐に渡るタスクを自然にこなせます。
  • 安全性：安全フィルタリングと報酬設計により、攻撃的・誤情報の発信リスクが低減されています。
  • スケール：GPT‑4 系は数百億パラメータで、GPT‑3.5 系よりも文脈理解・推論力が高いです。
  • 汎用性：画像・音声などの専門モデルとは違い、テキスト中心のタスクで幅広い用途に適用できます。

簡単に言えば、ChatGPT は「テキスト対話と指示実行に特化した、最先端の安全性を備えた大規模言語モデル」です。

>>> 動作するのに必要なPCのスペックを教えて下さい。
Thinking...
The user asks: "動作するのに必要なPCのスペックを教えて下さい。" In Japanese: "Please tell me the PC specifications required to run." Likely they refer to            
running the model locally. Or maybe they refer to using the AI model. Might want to answer: To run ChatGPT locally, you'd need a GPU with at least 16GB VRAM, 
etc. For small inference you can run on CPU but slow. Provide options: CPU: Intel i5 10th gen or better; GPU: NVIDIA RTX 3060 or better; RAM: 16GB; Storage: 
SSD. Or use remote services. Provide details. Also mention that the full model requires GPU, but you can run on CPU. Also mention the difference between 
inference and training. So answer in Japanese.
...done thinking.

ChatGPT（GPT‑4 系）をローカル PC で動かすときの最低・推奨スペック

注

  • ここでは 推論（Inference） のみを想定しています。
  • 実際に 訓練 を行う場合はさらに多くの GPU メモリ・計算リソースが必要です。
  • もし OpenAI の API で利用したい場合は、PC のスペックは不要です（クラウド上で処理されます）。
レベル 推奨構成 備考
最低 • CPU: Intel i5 10世代 / AMD Ryzen 5 2600
• GPU: NVIDIA GTX 1060（6 GB）または等価のAMD GPU（推奨は CUDA 対応）
• メモリ: 8 GB RAM（推奨は16 GB）
• ストレージ: 512 GB SSD（NVMe）
• OS: Windows 10/11 64bit または Ubuntu 20.04 64bit		 速度は遅く、応答時間が数秒〜数十秒になる可能性があります。
推奨 • CPU: Intel i7 11世代 / AMD Ryzen 7 3700X
• GPU: NVIDIA RTX 3060 Ti / RTX 3070（12 GB）または RTX 30 系、AMD Radeon RX 6700 XT（8 GB）
• メモリ: 32 GB RAM
• ストレージ: 1 TB NVMe SSD
• OS: Windows 11 64bit / Ubuntu 22.04 64bit		 スムーズな対話を実現。 1～3 秒以内に応答できます。
ハイエンド • CPU: Intel Xeon / AMD Threadripper
• GPU: NVIDIA RTX 4090（24 GB）または複数の RTX 30 系
• メモリ: 64 GB+ RAM
• ストレージ: 2 TB
NVMe SSD（RAID 0/1 推奨） 大規模バッチ処理や高速な並列対話が必要なケース。

重要ポイント

項目 詳細
GPU メモリ GPT‑4 系は 24 B 〜 30 B パラメータを持つため、推論時に 12 GB 以上の VRAM が必要です。 8 GB GPU では「半精度（fp16）」や「混合精度（bfloat16）」を使い切れず、メモリ不足になることが多いです。
CPU GPU ほど重要ではありませんが、CPU が遅いとデータ転送や前処理がボトルネックになります。 6〜8 コア以上を推奨。
RAM GPU へのデータ転送・キャッシュのために 16〜32 GB が推奨。 8 GB では大きな入力を処理できないことがあります。
ストレージ モデルサイズは数十 GB（例：gpt‑4‑model‑sparse は 30 GB 程度）。 SSD で高速にロードする必要があります。
OS & ドライバ 最新の CUDA (11.8 以上) と cuDNN をインストールし、ドライバは GPU に合わせて更新。
電力供給 高性能 GPU では 650 W 以上の電源が必要。

代替手段

方式 メリット デメリット
クラウド推論（OpenAI API） ハードウェア要件なし、常に最新モデルが利用可能 API 利用料金が発生、レイテンシが増える
軽量化モデル（distilGPT, OPT‑small） 低い VRAM 要件、CPU でも動作 性能・生成品質が低下
オンデマンド GPU クラウド（A100 など） 大規模推論が可能 コストが高い

まとめ

  • 最低構成: GTX 1060 以上、8 GB RAM。
  • 本格的に使いたい: RTX 3060 Ti 以上、16 GB+ RAM。
  • 高速・安定: RTX 4090 以上、32 GB+ RAM。

これらのスペックを備えると、ChatGPT（GPT‑4）をローカルで快適に動かすことができます。もし不安点があれば、クラウドサービスで API を使う方法も検討してください。

>>> 以下のスペックは十分でしょうか？
... - Ubuntu 22.04
... - Intel(R) Core(TM) i7-14700F
... - 64GB RAM
... - NVIDIA GeForce RTX 5070 Ti
Thinking...
We need to evaluate whether the specs are sufficient for running ChatGPT locally. Specs: Ubuntu 22.04, i7-14700F, 64GB RAM, RTX 5070 Ti. RTX 5070 Ti is likely 
a mid-tier GPU from RTX 40 series? Actually RTX 5070 Ti not yet mainstream. Might be a rumored or upcoming. It might have 12GB or 8GB? Actually RTX 4070 Ti has 
12GB. 5070 Ti may have 8GB? But speculation. Could be 8GB. For inference of GPT-4, need 12+GB VRAM for 30B. So 5070 Ti might not be enough if 8GB. But 64GB RAM 
is fine. CPU i7-14700F is good. So answer: likely insufficient VRAM if GPU only 8GB. If it's 12GB, maybe borderline. Also need CUDA 12, cuDNN. So we explain. 
Also mention possible solutions: use CPU fallback, use quantization, or cloud. Provide guidelines.
...done thinking.

ざっくり確認

項目 実際の値 評価
OS Ubuntu 22.04 ✅ 互換性あり
CPU Intel i7‑14700F ✅ 高性能 (14コア・28スレッド)
RAM 64 GB ✅ 余裕がある
GPU NVIDIA RTX 5070 Ti ⚠️ ここがキーポイント

RTX 5070 Ti は 2024 年時点でまだ正式に発表されていません。
仕様は不明ですが、推測では 8 GB の GDDR6X が想定されます（RTX 4070 Ti が 12 GB、RTX 4080 が 16 GB のように）。
もし「5070 Ti」が 8 GB なら、GPT‑4（約 30 B パラメータ）をそのまま推論するには不足します。

1. GPT‑4（30 B）をローカルで推論する際の VRAM 要件

モデルサイズ 推奨 VRAM 代表的なGPU
7 B 6 GB RTX 3060/3070
13 B 12 GB RTX 3070 Ti / 4080
30 B 12 GB〜24 GB RTX 4090, A100, RTX 4090/4080
175 B 24 GB以上 A100 80 GB
  • 30 B モデルは「半精度 (fp16)」で動かすと約 12 GB が必要です。
  • さらに 混合精度（fp16 + bf16）や 量子化（4‑bit / 8‑bit）を使えば VRAM を下げられますが、速度や精度のトレードオフがあります。

2. あなたの GPU が 8 GB だった場合

条件 可能な実行方法 備考
GPT‑4 30 B (fp16) 不可（不足） 12 GB 必要
GPT‑4 30 B (8‑bit quantization) 可能 推論速度は遅くなる。
GPT‑4 30 B (4‑bit quantization) 可能 さらに遅くなるがメモリは下げられる。
GPT‑3.5 6 B 可能 6 GB で動作可能。
GPT‑3.5 13 B 可能 12 GB で動作。

結論：RTX 5070 Ti が 8 GB なら、「30 B モデルのまま」 は実行できません。
ただし、8‑bit/4‑bit 量子化 版を使えば「30 B くらいのモデル」を走らせることはできますが、推論速度が数倍遅くなる（数秒〜10秒/応答）ことに注意してください。

3. もし RTX 5070 Ti が 12 GB だったら？

  • 12 GB なら、30 B モデル (fp16) は ほぼ動作 します（ただし GPU の計算コア数や CUDA バージョンが重要）。
  • ただし、推論時のバッチサイズ を 1〜2 にするとほぼ安定します。
  • それでも「メモリが不足」しやすいので、「GPU へのメモリ使用率を手動で制御」（例：torch.cuda.set_per_process_memory_fraction(0.8)）を行うと安全です。

4. 実際に動かす際の準備

  1. CUDA 12.x と cuDNN 8.x をインストール 
    sudo apt install nvidia-driver-535   # GPU ドライバ
sudo apt install cuda-toolkit-12-2
sudo apt install libcudnn8
  2. Python 環境 
    python3 -m venv venv
source venv/bin/activate
pip install torch==2.1.0+cu121 torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
pip install transformers
  3. モデル取得
    • Hugging Face Hub から gpt-4 の「small」または「tiny」版を取得。
    • 量子化モデルは transformers の AutoModelForCausalLM.from_pretrained(..., torch_dtype=torch.bfloat16) などを使うか、bitsandbytes で 4‑bit/8‑bit 変換し
      ます。
  4. 推論コード例（fp16） 
    from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

tokenizer = AutoTokenizer.from_pretrained("openai-community/gpt-4")
model = AutoModelForCausalLM.from_pretrained(
    "openai-community/gpt-4",
    torch_dtype=torch.float16,
    device_map="auto",
)

prompt = "こんにちは、私はあなたのアシスタントです。"
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
output = model.generate(**inputs, max_new_tokens=200)
print(tokenizer.decode(output[0], skip_special_tokens=True))
  5. 量子化実行例（8‑bit） 
    pip install bitsandbytes

    from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
import bitsandbytes as bnb

tokenizer = AutoTokenizer.from_pretrained("openai-community/gpt-4")
model = AutoModelForCausalLM.from_pretrained(
    "openai-community/gpt-4",
    load_in_8bit=True,
    device_map="auto",
)

5. 代替案

方法 メリット デメリット
OpenAI API どんなハードウェアでも使える。常に最新モデル。 利用料金。レイテンシが数十 ms〜数百 ms。
Hugging Face Inference API 無料枠がある。 料金が発生。
軽量化モデル（GPT‑Neo、OPT‑6.7B） 4 GB 〜 8 GB VRAM で動く。 性能・品質が低下。
オンプレミス GPU クラウド（A100, RTX 4090 など） 高速・大規模推論が可能。 コストが高い。

まとめ

  • CPU: i7‑14700F と 64 GB RAM は完全に余裕。
  • GPU:
    • 8 GB なら 30 B GPT‑4 をそのまま は走らせられません。
    • 8‑bit/4‑bit 量子化で実行は可能ですが、速度は低下します。
    • 12 GB であれば 30 B (fp16) をほぼフルスピードで走らせられます。
  • 推奨:
    1. GPU の VRAM が 12 GB か確認してください。
    2. 8 GB であれば、まず「gpt‑3.5‑6 B」や「gpt‑3.5‑13 B」などを試し、VRAM が足りるかを確認。
    3. それでも不足なら、クラウド API での利用を検討。

もし実際に 8 GB だった場合でも、量子化を試すことで「30 B くらいのモデル」を走らせることは可能です。ご不明点や試したい具体的なモデルがあれば、遠慮なく教えてください！

>>> 大変参考になりました。ありがとうございます。
Thinking...
We need to respond politely, thank user. No further info needed.
...done thinking.

どういたしまして！
また何か気になることや試したいことがあれば、いつでも遠慮なく聞いてくださいね。お役に立ててうれしいです。

まとめ

ざっくりとした質問なので少し回答がおかしいですが、なかなか興味深い返事をしてくれました。
体感として、今回のGPUでならとても応答が早く、実用に耐えるものであると感じます。
もう少し小さなPCでも動かしたいので、量子化するか検討してみたいと思います。

楽しい！！

1
3
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
1
3

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?