TL;DR（忙しい人向けまとめ）
- 動かすだけなら要件は低い：RTX 4070 Ti（12GB VRAM）、Ryzen 7 5700X、DDR432GBという数年前のザ・ゲーミング構成でもStrataなら巨大モデルが立ち上がる。
- 実用には最低64GB RAMが必要：32GBでは日本語コンテキストで破綻・無限ループしやすい。64GB増設でIQ3_Sが約45 tok/sで動作。
- 「放置できない」のが最大の弱点：45 tok/sはローカルとしては健闘しているが、精度不足により手戻りが頻発する。クラウドに比べて「手戻り回数の多さ」×「1回あたりの待ち時間の長さ」が重なり、人間が張り付くコストが高すぎる。
- 1台運用は犠牲が大きすぎる：常駐させるとVRAM/RAMを食い尽くし、GUI環境すら不安定化（最終的にTTY onlyで検証）。
- 結論：「ローカルLLMを動かすこと自体が目的」なら最高の体験。「コーディング効率化の手段」としてPCを強化するくらいなら、その予算でクラウドのサブスクを契約したほうが遥かに合理的。
はじめに： Redditで出会った18kスターへの期待
そもそも私がStrataを知ったきっかけは、中古のTesla V100でも買おうかと迷いながら夜な夜なネットサーフィンをしていたときでした。
Redditを眺めていたところ、投稿からわずか10時間ほどしか経っていないスレッドでStrataの存在を知りました。
当時はまさかGitHubスターが18k（1.8万）を超えるような大型プロジェクトになるとは思っておらず、手持ちのゲーミングPCで巨大モデルが動くという話に「もしこれが本当ならV100を買わずに済むのでは」と個人的にかなり期待を寄せていました。
しかし、実際に環境を構築して使ってみると、「巨大LLMが動くこと」と「日々のコーディング作業が速くなること」の間には、想像以上に大きな壁がありました。
本記事では、この期待と現実のギャップについて、実際の検証結果をもとにまとめます。
1. 検証のスコープ
前提として、本記事の評価軸を整理しておきます。
- 対象：コーディング補助、実装、リファクタリング、デバッグ
- 対象外：ロールプレイング、キャラクター対話、長文創作、雑談
知りたいのは「巨大モデルがローカルで動いて面白い」という体験だけではなく、 「それによって自分の開発作業が本当に効率化されるのか？」 という実用性の観点です。そのためトークン速度 、 ベンチマーク的な観点にはあまり触れません。
2. 検証環境
使用したマシンは、一般的なミドルハイクラスのゲーミングPCです。
| 項目 | スペック | 補足 |
|---|---|---|
| CPU | AMD Ryzen 7 5700X | 最新世代ではないがAVX2対応 |
| GPU | NVIDIA GeForce RTX 4070 Ti 12GB | VRAM 12GB |
| RAM | DDR4 32GB → 64GBに増設 | DDR4で十分かどうかも検証 |
| OS | Fedora Linux | 最終的にはGUIを落としてTTY onlyで検証 |
| 実行環境 | docker + Strata v0.1.40 | ML触るならfedora44はマジでダメ |
3. 「動かす」ための敷居は意外と低かった
まず、Strataの技術的な強みとして評価すべき点です。
-
12GB VRAMでも巨大モデルが起動する
GPUのVRAM容量を超えたモデルであっても、Strataの仕組みによって問題なくロード・実行できました。「12GBしかないから巨大モデルは門前払い」とはなりません。 -
DDR4でも動作する
メモリ帯域の面からDDR5が推奨されることもありますが、手持ちのDDR4環境でも十分に動作しました。StrataのためにDDR5環境へ乗り換える必要性は低いです。 -
Ryzen 7 5700Xでも問題なし
AVX2に対応しているCPUであれば、型落ちのRyzenでも致命的なボトルネックにはなりませんでした。
ハードウェア的な「起動のハードル」は想像以上に低く、既存のゲーミングPCをそのまま流用できます。
問題は、ここから先の実用性でした。
4. RAM 32GBの壁と日本語コーディングの破綻
32GBでは選択肢が狭すぎる
32GB環境でも起動自体は可能です。しかし、モデル本体に加えてコンテキスト長、OS、推論用メモリを考慮すると、選択できるモデルのサイズや量子化がかなり厳しく制限されます。
この制限下で選べるCoder系モデルを試した際、日本語が絡む場面で以下の2つの致命的な問題が発生しました。
-
日本語のプロンプト理解や、日本語でのアウトプットが支離滅裂になる
指示の意図を正確に汲み取れず、出力される日本語も文法や論理が破綻していて、まともなやり取りが成立しませんでした。 -
入出力を英語にしても、ソースコード中の日本語を読んだ途端にコンテキストが汚染される
「日本語での対話が無理なら」とプロンプトや出力をすべて英語に倒して運用しようとしても、既存コード内のコメントや文字列に含まれる日本語を読み込んだ途端にコンテキストが汚染され、同じトークンを延々と出力し続ける無限ループが始まってしまいました。
日本の開発現場では、既存コードに日本語のコメントやドキュメントが含まれているケースが一般的です。そうしたコードを扱うユーザーにとって、「32GBで動く」は決して「32GBでコーディングに使える」とは言えない結果でした。
64GBへの増設で「IQ3_S / 約45 tok/s」へ
そこでRAMを64GBへ増設しました。これは今回の検証で最も意味のあるアップグレードでした。
- より大きな量子化モデルが選択可能になり、IQ3_Sまで扱えるようになった。
- 生成速度は約45 tok/sを記録。
もちろんクラウドの最新APIのような超高速レスポンスには及びませんが、ローカル環境で巨大モデルを動かしていると考えれば、45 tok/sはかなり健闘している数字です。
しかし、コーディング用途で実際に回してみると、別の問題に突き当たりました。
5. 45 tok/sで「放置できない」という致命的な壁
45 tok/sという速度自体は、ローカルLLMとしてはそこそこ実用的な水準です。
もしこれが、**「プロンプトを投げておけば、裏で非同期に放置しておくだけで精度の高いコードが完成する」**という運用ができるのであれば、45 tok/sでも十分実用的だったはずです。多少生成に時間がかかっても、人間は別の作業を進めていればいいからです。
しかし、現実はそう甘くありませんでした。
「手戻り回数の多さ」×「手戻り間隔の長さ」
ローカル環境で動かせる量子化モデルでは、どうしてもコードの文脈理解や指示への追従性に限界があり、手戻り（間違いの修正）が頻発します。
これが開発効率に与えるダメージは、単なる「生成速度の遅さ」以上のものでした。
指示を出す
↓
【待機】45 tok/sで生成（数十秒〜数分待つ）
↓
微妙に間違えている（放置できないので人間が確認せざるを得ない）
↓
修正指示を投げる
↓
【待機】再び45 tok/sで生成（また待つ）
↓
まだ治りきらない / 別の箇所が壊れる
↓
【待機】再指示…
クラウドLLMであれば、モデル自体の賢さによってそもそも手戻りの回数自体が少なく、仮に修正指示を出す場合も即座にレスポンスが返ってくるためリズムが崩れません。
一方で今回のローカル環境では、
- モデルの能力不足で、修正（手戻り）の回数そのものが多い
- クラウドに比べれば遅いため、1回の手戻りにかかる間隔（待ち時間）も長い
という二重苦になります。
「手戻り回数が多い」のに「1回あたりの修正間隔も長い」となると、人間はずっと画面の前に張り付いて出力を監視し続けなければならず、結果として開発の進行が著しく停滞してしまいます。
Swift系（思考ステップ短縮モデル）でも解決しない
「待ち時間を減らすために」と生成トークン数を減らすSwift系モデルも試しましたが、思考の粘り強さが失われ、かえってコードの詰めが甘くなって手戻り回数が増えるため、根本的な解決にはなりませんでした。
6. もう一つの大きな代償：メインPCリソースの占有
作業効率の低下に加えて、実運用上もう一つ見逃せないのがPCリソースの競合です。
Strataで巨大モデルを常駐させると、推論中だけでなく待機中も含めてVRAMとRAMの大半を継続して占有します。
普段使いのPC（ブラウザ、エディタ、通信ツール、ゲームなどを動かす環境）でこれを常駐させると、他の作業に支障が出ます。
今回の検証環境では、StrataがVRAMを保持した状態でGUIからエディタを起動したところ、画面のちらつきが発生しました。
最終的にはリソース競合を避けるため、LinuxをTTY only（CUIのみ）で起動してStrata専用機のように扱う構成にせざるを得ませんでした。
「1台のゲーミングPCで、普段の作業をこなしつつ、裏でローカルLLMも動かす」という運用は、現実的ではありませんでした。
7. 検証結果まとめ：最低限と実用の限界
| 項目 | 動作の最低限 | 実用の現実 |
|---|---|---|
| GPU (VRAM) | 12GBで十分動作 | 画面出力用VRAMとの競合に注意 |
| RAM世代 | DDR4で問題なし | DDR5必須ではない |
| CPU | Ryzen 7 5700Xで十分 | AVX2対応なら型落ちでもOK |
| RAM容量 | 32GBで起動は可能 | 64GB必須（32GBは日本語コンテキストで破綻） |
| 生成速度 | 64GB + IQ3_Sで約45 tok/s | 単体速度は悪くないが、放置できないため手戻りコストが重い |
| コーディング実用性 | 単純なスクリプト等 | 複雑な開発は「手戻り回数×待ち時間」で破綻しやすい |
| メインPC共存 | 厳しい（TTY推奨レベル） | 1台運用は非現実的。やるなら専用マシンが必要 |
まとめ：ローカルLLMを「目的」にするか「手段」にするか
Redditのスレッドを見かけて以来、Strataには大いに期待していましたし、実際に型落ち構成のゲーミングPCで巨大LLMが動いた技術的成果には素直に感銘を受けました。
しかし、導入を検討する際は目的を整理しておく必要があります。
1. ローカルLLMを動かすこと自体が「目的」の場合
→ 非常に面白い選択肢です。
12GB VRAMとDDR4の環境でIQ3_Sが45 tok/sで動く様子を検証するだけでも十分な価値があります。ローカル推論環境の構築や限界検証を楽しみたい人には強くおすすめできます。
2. コーディング作業を効率化するための「手段」にしたい場合
→ おすすめしません。
RAMを64GBに増設し、GUIを削って環境構築しても、「手戻りの多さと待ち時間の長さ」によって人間の拘束時間が増えてしまいます。そのアップグレード費用があるなら、素直にクラウドLLMのサブスクやAPI利用料に充てたほうが開発効率は確実に上がります。
「巨大LLMをゲーミングPCで動かす」という試みは成功した。
しかし、「そのために普段使いのPC環境をLLMへ明け渡すこと」は、作業効率の観点からは大きな代償だった。
手持ちのPCをStrata用に強化しようと考えている方の参考になれば幸いです。