はじめに
最近公開された OSS 大規模言語モデル gpt-oss-20b を昨日触ってみました。缶酎ハイ片手に。
クラウド版と比較しつつ、ローカルでの体験を簡単にまとめます。
実行環境
CPU : Intel i7-9700
GPU : GTX1660ti (VRAM 6GB)
RAM : 16GB
ツール: LM Studio
導入に使ったツール
今回はGUIで簡単に操作ができるLM Studio を利用しました。
モデルのダウンロードから推論までワンクリックで進められるので、初学者にもおすすめです。
どれくらい簡単かというと、ローマ字入力が怪しくなるくらい酔っ払いながらでも導入できる程度です。
所感
・速度
- 生成速度はクラウド版より遅く、体感で約 2〜3 倍ほど
- 実測では約 7.5 tokens/sec でていた
- 生成よりも入力文の読み込みに時間がかかる印象
- 設定を「RAMのみ」→「RAM＋VRAM」に変更すると速度が改善
→ 環境依存度は大きいと感じた（要検証）
・精度
- 公称は「o3-mini 相当」とされているが、実際にはそれよりやや低めに感じる
- 自然文での指示だと誤解が多く、yaml形式で入力すると安定する傾向あり
・クラウド版との比較
- トークン制限を意識しなくてもよいのは大きな利点
- 制限を指定しないと長文を出力することも多い
- モデル切替やトークン残量を気にせず使えるため、試行錯誤がしやすい
- ツール依存の部分として：
- ファイル読み込みは問題なく可能
- ファイル出力には別途スクリプトが必要
まとめ
- 低スペック環境（RAM 16GB / VRAM 6GB）でも動作可能
- 速度はクラウド版より遅いが許容範囲
- 精度は o3-mini より低めで、プロンプト工夫が必須
- トークン管理不要なのは快適
軽く触ってみたい人や、トークン量を気にせず長文を生成したい人にはおすすめかなと。
ただし、実用にするならRAMやGPUメモリの多い環境であったり、プロンプト設計は必須になりそうです。
「寝る前まで作業→就寝中に添削推敲など作業を任せる→朝起きて確認」みたいな運用をするならよさそう？