概要

先日、こちらが発表されました。

さすがに上位のgpt-oss120bはVRAMが80GB必要とのことで、まず一般人には動かせる代物ではない...
でも下位のgpt-oss20bであれば、ゲーム用PCくらいで動かせそうな予感...！ちょっくら試してみて、無料でAI使い放題環境を手に入れてみましょう！

PCスペック

こんな感じです。VRAMが8GBなのでちょっと不安でしたが、最終的には動かせる環境まで持っていけました。

ollamaとは、かのOpenAIさんがリリースしている、LLMをローカル環境で実行するためのソフトウェアです。
インストールはこちらから。インストーラをダウンロードして実行するだけです。

ollamaで導入できるモデル一覧にはすでにgpt-ossがありますので、コマンドから導入していきます。

powershellなどで以下コマンドを実行するだけ。

ollama run gpt-oss:20b

ファイルサイズは13GBほどあるのでお気を付けください。

導入した状態でollamaを開くと、さっそく選択できるモデルにgpt-oss:20bの文字が...！

適当な質問でちゃんと動作するか試してみましょう。VRAM足りていないような気がしますが果たして...？

お、まずは30秒たっぷり考えて...

すごい、めちゃくちゃ応答してくれました。返答まで3分くらいかからいましたが、VRAM不足で起動しないなんてことはなく、しっかり応答できてそうです。

ollamaでは、VRAMが足りていない場合、一部をRAMにオフロードしてCPUで動作してくれるみたいです。速度は遅くなりますが、VRAM不足で起動できないみたいなことにはならないそう！

流石に普段使っているCopilotほどとは言いませんが、それでもギリ実用的な速度でそれなりの応答を返してくれるLLMがローカルで構築できるのは感動ですね...！
また、公式にはこんな記述もあるみたいなので、もしかしてMCPの呼び出しとかもできそう...？

まだまだ実験のし甲斐がありそうなので、色々試してみようと思います！