0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

GTX 1650(VRAM 4GB)でローカルLLMは動くのか?LM StudioでGemma 4を試してみた

0
Posted at

サマリ

手元のWindowsデスクトップPC(GPUはGTX 1650 / VRAM 4GB)で、LM Studioを使ってGoogleのGemma 4を動かしてみました。

背景

普段はClaudeなどのクラウドのAIを使っていますが、「ローカルLLM(自分のPC上で動かすLLM)」が気になっていました。
ただ、ローカルLLMって高性能GPU前提なんでしょ・・という先入観があり、
「数年前のそこそこのGPUでも動くのか」という点が気になったので、手持ちの環境で試してみました。

ゴール

  • 手元のWindows PCでローカルLLMを動かし、日本語でチャットできる状態にする
  • GTX 1650(VRAM 4GB)で実用的な速度が出るか確認する

対象読者

  • ローカルLLMを試してみたいが、何から始めればいいかわからない方
  • ハイエンドではないGPUでもローカルLLMが動くか気になっている方

前提

必須:Windows PC(メモリ16GB程度)
推奨:GPU(今回はNVIDIA製。GPUなしでも動くが遅くなる)

環境

  • OS:Windows 11 Home 25H2
  • CPU:Intel Core i5-11400F(第11世代 / 6コア12スレッド)
  • メモリ:16GB
  • GPU:NVIDIA GeForce GTX 1650(VRAM 4GB)
  • 実行ツール:LM Studio 0.4.25
  • 採用モデル:Gemma 4 E2B(5.1B / Q4_K_M / 4.41GB)

※本記事の内容は2026年9月時点のもの

手順

そもそも、LM Studioとは…
ローカルLLMを動かすためのデスクトップアプリです。
Google(Gemma)やAlibaba(Qwen)などが公開しているモデルを、アプリ内で検索・ダウンロードして実行できます。(ざっくり)

それではやっていきましょう。

手順1:LM Studioのインストール

公式サイトにアクセスします。

image.png

こんな感じの画面です。

「Download LM Studio Bionic」が真ん中に来ていますが、
これはAIエージェントソフトウェアのようで、今回は単にLLMモデルのシンプルな利用だけなので無視します。(ややこしい・・)

LM StudioとLM Studio Bionicの違いは以下でイメージをつかませていただきました。

ややこしいBionicを避けて、ページ最下部まで行きます。

image.png

「Product」「Download the app」をクリックします。
すると、以下の画面になります。

image.png

「Download LM Studio for Windows」(下の方)をクリックします。

exeファイルがダウンロードされました。

image.png

ダブルクリックで実行します。

image.png

ライセンス契約書は同意します。
続いて、インストールオプションの選択が出ます。

image.png

インストールオプションは現在のユーザーのみにインストールする、を選択します。(これは好みでいいと思います。)

image.png

インストール先は特に触らずデフォルトのままにしました。

image.png

インストールできました(体感1,2分でした)

完了を押すとそのまま起動します。

image.png

「Get Started」をクリックします。

image.png

デフォルトだと、「7.9B」(gemma-4-e4b / 6.33GB)のモデル規模となっていますが、
以下の記事を参考にしたところ

7~8Bの規模感だと、必要なVRAMが8GBとなり、自分の4GBと合わないため、
「Skip for now」をクリックしていったん無視します。
すると、以下の画面に遷移します。

image.png

開発者モードのオンオフ、ログイン時の自動起動のオンオフを選べます。
まだ現時点ではそれぞれ不要かなと思うので、今回はどちらもオフにしました。

image.png

おぉ~開けました。

image.png

ただ、チャットしようとしても、モデル選択を先ほどスキップしたので、「Pick a model」と出ている通り、モデルを選ばない限りはチャットが送れません。

手順2:モデルの選定・ダウンロード

というわけで、モデルを選定します。
左のロボット+虫眼鏡のアイコンをクリックします。(キャプチャ上は左のバーの一番下)
すると、以下のように、Qwen、Bonsai、Gemma、など色々なモデルが出てきます(すごいなぁ・・)

image.png

今回導入するGemma 4で検索します。

image.png

補足:モデル名の見方

自分の理解も兼ねた補足となりますので、ざっくりである点ご容赦ください。。

検索すると「Gemma 4」だけでもいくつも種類が出てきます。
ざっくり言うと、数字+Bはモデルの大きさを表しています。

  • B:パラメータ数(Billion=10億)。大きいほど賢いが、重くなる。
  • E2B / E4B:Eは「effective(実質)」の意味。パラメータ数は多め(E2Bで5.1B)だが、2B・4B相当の軽さで動くよう工夫された小型モデル
  • 12B:120億パラメータの中型モデル
  • 26B A4B:全体は26Bだが、質問ごとに実際に動くのは4B分だけ(なので軽量)、という仕組みのモデル(Aは「active」)
  • QAT:圧縮しても性能が落ちにくいように訓練された版(QAT:Quantization-Aware Training)

今回はVRAM 4GBのGPUなので、一番小さいE2Bを選びました。

補足:ダウンロードオプション(量子化)の違い

今回のE2Bモデルでは、ダウンロード時に「Q4_K_M」「Q6_K」「Q8_0」の3つから選べます。
これは量子化(モデルを圧縮して軽くする技術)の度合いの違いです。
(ちょっとボリュームが膨らむのと本記事の本筋ではないので、細かい点は割愛させていただきます。。)

オプション サイズ 特徴
Q4_K_M 4.41GB 一番軽い。LM Studioのおすすめ
Q6_K 4.83GB 少し重いが、元のモデルに近い回答品質
Q8_0 5.95GB 一番重いが、元のモデルに最も近い回答品質

Qの後ろの数字が大きいほど圧縮が弱く、元の性能に近い代わりにサイズが大きくなります。
今回は一番軽いQ4_K_Mを選択しました。

image.png

補足:「Partial GPU Offload Possible」とは

モデルを選ぶと、PCのスペックに合わせて以下のような表示が出ます。

  • Full GPU Offload Possible:モデル全体がVRAM(GPUのメモリ)に載る → 速い
  • Partial GPU Offload Possible:一部しか載らず、残りはメインメモリ+CPUで処理 → 少し遅くなる

今回のE2B(4.41GB)は、VRAM 4GBには載りきらず「Partial」でした。
一番小さいモデルでも自分のPCのスペック的にはギリギリ載らない、というのがVRAM 4GBの現実のようです。(あらら・・)

今回選んだモデルと理由

ちょっと前段が長くなりましたが、今回は Gemma 4 E2B(Q4_K_M) を選びました。
改めて、理由は以下の通りです。

  • Googleの最新世代で利用者も多く、情報が見つけやすいため
  • Gemma 4の中で一番小さく、VRAM 4GBでも比較的軽く動かせそうだったため(Partialではありますが)

Q4_K_Mを選んだ状態で「Download」をクリックします。

image.png

いけました!体感5分ぐらいでした。

手順3:モデルをロードしてチャット

「Use in New Chat」をクリックします。

実際に会話をしてみると、、以下のキャプチャのように、応答が返ってきました!(おぉ~)

image.png

参考:パフォーマンス

せっかくなので、パフォーマンスも見てみました。
ちなみにこちらはモデルをロードする前のGPU使用率です。(使用率は0%)

image.png

モデルをロード後の使用率(会話していないので使用率自体は上がっていませんが、GPUメモリの使用量が増えていることがわかります。)

image.png

実際に回答を作っているときの使用率

image.png

60~80%ぐらいを行き来している感じでした。

なお、以下のキャプチャのように、
image.png

回答の下にあるストップウォッチマークにマウスカーソルを置くと、生成速度などが表示されます。
今回の応答は 33.33 tokens/sec でした。めちゃくちゃ遅いとかはなく、普通に読む分にはストレスなくいけた感じでした。(感覚的には、普通にClaudeやGeminiと会話しているのに近い感じでした)

また、LM Studioには回答前に「考える」Thinkモードがあるので、オン/オフで同じ質問を試してみました。(それぞれ一つの質問を1回ずつのサンプルなので、必ずしも常にこの品質かは保証できません(おい))

項目 Think オン Think オフ
生成速度 33.33 tokens/sec 35.12 tokens/sec
生成トークン数 1310 925
最初の文字が出るまで 0.64秒 0.49秒
思考時間 13.05秒 なし
  • 日本語の回答品質:見出しや表を使って整理された、自然な日本語
  • Thinkをオフにしても、生成速度やメモリ使用量はほぼ変わらず。違いは回答前の思考時間の有無

結果

GTX 1650(VRAM 4GB)でも、Gemma 4 E2Bは問題なく動きました。

VRAMに全部は載りきらない「Partial GPU Offload」の状態でしたが、
文字が出てくる速度は読むスピードより速く、普段使いのチャットなら十分実用的な印象でした。
ただ、Thinkオンだと回答前の思考時間が10秒以上かかることもあり、そこは少し待たされる感じがありました。
ちょっとした質問ならオフ、じっくり考えてほしい質問ならオン、と使い分けるのがよさそうです。

まとめ

思っていたよりあっさり、GTX 1650でもローカルLLMが動きました。
インストールからチャットまで、ダウンロード待ちを含めても30分かからないくらいです。

今回は時間の都合で試せませんでしたが、

  • 一回り大きいE4Bにするとどれくらい遅くなるか
  • VRAMに全部載る、より小さいモデルとの比較
  • Ollamaでも同じように動くか

あたりも今後試してみたいなと思っています。

また、まだがっつり使い込んでいるわけではないので長期的な目線での使用感・PC負荷とかも見ていく必要があるかなぁと思いました。

もう少ししっかり動かしたくなったら、GPUの買い替えも検討したいですね。。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?