Windows でローカルLLM： Ollama で Gemma 3 を軽く試す

Posted at 2025-05-18

はじめに

ローカルLLM は M4 の Mac mini でばかり試していたのですが、Windows でも少し試してみました。

なお、モデルは以下 2つを試します。

さっそく試していきます。

今回使う PC は以下のマシンです。

スペックはこんな感じです。

以下のページから Windows用のインストーラーをダウンロードしてインストールします。

以下、インストール中の様子です。

インストールが完了すると、以下の PowerShell が立ち上がりました。

Mac で試していた gemma3:12b-it-q8_0 を使うことにします。

以下のコマンドを実行すると、モデルがダウンロードされます。

ollama run gemma3:12b-it-q8_0

ちなみに Windows の場合は、以下にダウンロードされるようです。

C:\Users\【Windowsのユーザー名】\.ollama\models

ダウンロードが完了したら、プロンプトを入力して試してみます。

Mac で試していた時と同じプロンプトの 「生成AIを8歳に分かるように短い言葉で説明して」 という内容で試してみました。そして得られた結果は以下のとおりです。

以下のとおり、13GB のサイズのモデルですが、問題なく動作しました。

もう 1種類使ってみます。

17GB ほどのサイズになる gemma3:27b-it-q4_K_M を、以下でダウンロードして実行します。

ollama run gemma3:27b-it-q4_K_M

以下、ダウンロード中です。

ダウンロードが完了した後、先ほどと同じプロンプトの 「生成AIを8歳に分かるように短い言葉で説明して」 という内容で試してみます。その結果、以下の応答を得られました。

Ollama を今回のマシンで起動している時、またプロンプトに対する回答が生成されている時の、パフォーマンスなどの情報を掲載してみます。

こちらは Ollama を起動している時のメモリの利用状況です。14GBくらい使っている状態になっていました。

また、プロンプトに対する回答が生成されている時の処理負荷を見てみます。

CPU での処理になっているようでした。