ローカルで動かす Gemma 3 12b を VSCode から呼んでみる

０，Copilot はロマンを感じないのでスルー

「VSCode のAIアシスタントなら、Copilot があるじゃん！」という話はある。

「いやいや、ローカルで賢いAIを使い倒すのがロマンじゃろ？」

「情報漏えいやら、課金やら、気にせず、己の CPUとGPU でガンガン行こうぜ！！」

「そういえば、Gemma 3 12b ってローカルで動くし、かなり賢いじゃん」

行けるんじゃね？そんな話。

１，まず、Ollama を入れる

Ollama とはなにか？を ChatGPT-4o に聞いてみた。

Ollama とは？

Ollama（オラマ）は、ローカル環境で LLM（大規模言語モデル）を動かせるオープンソースの AI ランタイム です。
💡 簡単に言うと、自分のPCで ChatGPT のような AI を動かせるツール！

🛠 Ollama の特徴

✅ ローカル実行: インターネット不要で動作
✅ 軽量＆最適化: gguf フォーマットを使い、VRAMを節約
✅ シンプルな CLI: ollama run gemma3:12b のような簡単コマンド
✅ モデル管理: ollama pull で自由に LLM をダウンロード
✅ API 提供: http://127.0.0.1:11434 でローカル API を利用可能
✅ クロスプラットフォーム: Windows / Mac / Linux で動作

Ollama で使える LLM

公式モデルは Ollama モデルページで確認可能！

Gemma 3 以外にもいろいろあるみたい。あとで、余裕があったら、動くかどうか試してみます。

ということで、まずは Ollama をインストール

２，次に Gemma3 を入れる（VSCodeにContinueを入れたら、ここの動作確認はスキップできるかもしれない。未確認）

ollama がインストールできたのか、バージョンを確認して、

> ollama --version

gemma3:12b を入れてみる。（gemma3:3b は存在しない←間違い）

> ollama pull gemma3:12b

動作確認、gemma3 起動

> ollama run gemma3:12b

う、動くぞ！

動作確認、プロンプトを入れてみる。

HTMLとJavaScriptを使って、アーケードゲーム「パックマン」に似たゲームを作ってください。

すげー！あっさり動いた。

GPUを使っていないきがするけど、CPU （50%以下）だけでこの生成速度はすごい。
（注意：↓動画は長いので、生成途中をカットしています）

ちなみに、生成されたコードの実行結果はこちら↓。エラーは無いけど、ゲームにはなっていないかな。

２．５，CUDA を入れる（すでに入っているひとはスキップ）

なんかGPUを全然使っていないように見えるから、ChatGPT-4o さんに聞いた。そしたら「CUDA が入ってないでしょ」と言われた。確かに入っていないので入れてみる。

確認↓、入った。

もう一度、試す。

HTMLとJavaScriptを使って、アーケードゲーム「パックマン」に似たゲームを作ってください。

気持ち早くなった気もするけど、そんなに変化は無いかな。

CUDAの項目が上がってました。

今度は、動いた。一発でこれが出るのは結構すごい。

３，VSCode に Cline を入れる（→入れませんでした→行けるルートがありました）

だけど、Sign in しないと先に進めない。
ので、「ローカルで使いたいのにアカウント作るのイヤなんだけど」とChatGPT-4o さんに聞くと「Continue」なら Sign in はいらないはず。と言われたので、 Cline は Uninstall。

追記：

その後、アカウントを取らなくても行けるルートが見つかったので、↓の Continue でなくても大丈夫でした。

API Provider で Ollama を選択すれば、アカウント無しで、ローカルエージェントが行ける！！
（ただ、私の環境では 12b との連携は無理みたい→単体なら動くけど、VSCode+Clineから12bは、なぜか動きません。みなさんの環境ではいかがでしょう？？）

さらに追記：

4b であれば動いている。動いてはいるのだが、Cline が裏で要求するプロンプトをうまく処理できないようだ。Cline は Claude に最適化されているので、ちょっと今の段階で Gemma3 に置き換えるのは難しいという判断に至りました。

３．１，VSCode に Continue を入れる

気を取り直してContinueをインストール

Continueのアイコンが追加されるので、選択して、表示される↓プルダウンから「Add Chat model」を選んで　Chat model を追加する

なんか Sign in しなければ行けない雰囲気を感じながらも、動じずに、いったん「Gemma 2」を設定。ここに Gemma 3 があれば、話は簡単なんだけど、まだ入っていないみたい。（待っていれば、すぐに入る気もする）

Provider: Ollama
Model: Gemma 2 2b IT

この状態で、ローカルな Gemma 2 が使えるはず。

ここで、Config.json が作られるので、開いて

Gemma 3 （以下のJSON）を強引に追記！！！（この書き方は ChatGPT-4oさんに聞いた。）

    {
      "title": "Gemma 3 12b",
      "model": "gemma3:12b",
      "provider": "ollama",
      "serverUrl": "http://127.0.0.1:11434"
    },
    {
      "title": "Gemma 3 4b",
      "model": "gemma3:4b",
      "provider": "ollama",
      "serverUrl": "http://127.0.0.1:11434"
    }

ここまで、で動いたように見えるのだか、動かしていると原因不明でPCが落ちるようになった。まじかー！あと少しなのに。Ollama か Gemma 3 か Continue か VSCode か、どこかの相性なのか、理由はわからない、、、、まさか、熱暴走？？うそーん。

って、わたしだけ？？みなさまのコメントをお待ちしています。

追記：

その後、なんとなくですが、落ちる理由がわかった気がします。おそらく 12b を動かすにはメモリが足りない、というか、VSCode+Continue の組み合わせで 12b を動かそうとすると、私のPCでは限界を超える模様。

なので、4b を使っていれば大丈夫そう。もう少し、様子を見ます。

それから、Cline でもアカウントを取らずに行けました。（なぜ、そのルートが見つけられなかったのか、今となっては謎ですが。Clineの項目↑に追記しておきました）

というわけで、私のPCでは、4b が限界っぽいことがわかったところで、新しいPCを物色するときが来たんじゃないですかね。

これはもしかして、PC買い替えブームがやってきて、そのままAI半導体ブーム更に加速？？

いやぁ、おもしろくなってきました。

それではみなさま、楽しいプログラミングライフをお過ごしくださいませ。