2026年に入り、オープンウェートLLMの性能が急速に向上し、artificialanalysis.aiによればローカルで動かす事のできるQwen3.6 27BはGPT-5(medium)を超える性能を示しています。これほどの性能になると、ローカルで動かすLLM、ローカルLLMの実用性はかなり高く、AIエージェントと組み合わせることで様々な作業をローカル環境だけで自動化出来るようになりました。
この記事は、どれほどのものを用意すれば満足のいくAIエージェント用ローカルLLM環境が作れるかのメモです。
実用に足るAIエージェント用LLMはなにか
- Qwen3.6 27B
- Qwen3.6 35B A3B
これらのオープンウェートLLM、もしくはこれらの派生を使えば、実用に足るローカルLLM+AIエージェントシステムを構築できるでしょう。
Qwen3.6 27Bはdense modelと呼ばれ、推論(生成)に自身が持つ27B個のパラメータを全て同時に使うモデルです。これはq4量子化であれば、18GBのサイズであるため、デュアルGPUや高性能GPUのメモリーに乗り、簡単に動かすことが出来ます。恐ろしいことに、Qwen3.6 27BはGPT-5(medium)を超える性能を示します。
Qwen3.6 35B A3BはMoE modelと呼ばれ、3B個のパラメータを持つ複数のモデル(エキスパート)からなり、推論では3B個のパラメータが使用されます。これはq4量子化であれば、23GBのサイズであるため、デュアルGPUや高性能GPUのメモリーに乗ります。性能は、Qwen3.6 27Bに劣りますが、GPT-5(low)を超える性能を示します。
これ以上の性能のモデルは、相当のお金をかけない限り実用的では有りません。次に、ローカルで使え性能が高いLLMは、deepseek v4 flashですが、q2ですら90GBくらいあるため、GPUで動作させるのは難しでしょう。
動かす要件
q4量子化を使用することを考えると、最低でもGPUのメモリーは24GB、32GB必要でしょう。しかし、このメモリーサイズではQwen 3.6 27B、35Bを動かすにはギリギリです。キャッシュも考えると、GPUのメモリーが溢れる可能性が高く、高速に動作しない可能性があります。GPUのメモリーが48GBあれば、両方とも動くことでしょう。ですから、GPUのメモリーは48GBをなるべく目指したいところです。
目指すべきPC
LLMはGPUで動かさないと低速です。AIエージェントとしては使い物になりません。ですから、CPUの性能は余り気にしません。一方で、GPUメモリにLLMが乗らない場合を気にするなら、GPUは高速な方が良い。とはいえ、CPUでLLMを使わない(推論させない)のがベストです。
メインメモリーは最低64GBにしましょう。これは、LLMはメインメモリーに一時的に保存されるため、LLMが入る十分な容量を確保する必要があるからです。
GPUは次の低価格構成にすれば、低予算かつLLMが実用レベルで動くでしょう。
- RTX5060Ti 16GB x 2枚
- RTX5060Ti 16GB x 3枚
RTX5060Ti 16GB x 2枚構成はメモリー的にはギリギリです。なるべく3枚構成を狙いましょう。
なお、ここで述べた最低限の構成でも、昨今の価格高騰のため、今作ると高価になるかもしれません。
例:RTX4060Ti 3枚構成のトークン生成速度
- Qwen3.6 27B q4 15.70 tokens/s
- Qwen3.6 27B MTP q4 26.04 tokens/s
- Qwen3.6 35B A3B MTP q4 79.29 tokens/s
- Qwen3.6 35B A3B q6 64.64 tokens/s