0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

これなら出来る、LLM用マシン

0
Last updated at Posted at 2026-07-18

2026年に入り、オープンウェートLLMの性能が急速に向上し、artificialanalysis.aiによればローカルで動かす事のできるQwen3.6 27BはGPT-5(medium)を超える性能を示しています。これほどの性能になると、ローカルで動かすLLM、ローカルLLMの実用性はかなり高く、AIエージェントと組み合わせることで様々な作業をローカル環境だけで自動化出来るようになりました。

この記事は、どれほどのものを用意すれば満足のいくAIエージェント用ローカルLLM環境が作れるかのメモです。

実用に足るAIエージェント用LLMはなにか

  • Qwen3.6 27B
  • Qwen3.6 35B A3B

これらのオープンウェートLLM、もしくはこれらの派生を使えば、実用に足るローカルLLM+AIエージェントシステムを構築できるでしょう。

Qwen3.6 27Bはdense modelと呼ばれ、推論(生成)に自身が持つ27B個のパラメータを全て同時に使うモデルです。これはq4量子化であれば、18GBのサイズであるため、デュアルGPUや高性能GPUのメモリーに乗り、簡単に動かすことが出来ます。恐ろしいことに、Qwen3.6 27BはGPT-5(medium)を超える性能を示します。

Qwen3.6 35B A3BはMoE modelと呼ばれ、3B個のパラメータを持つ複数のモデル(エキスパート)からなり、推論では3B個のパラメータが使用されます。これはq4量子化であれば、23GBのサイズであるため、デュアルGPUや高性能GPUのメモリーに乗ります。性能は、Qwen3.6 27Bに劣りますが、GPT-5(low)を超える性能を示します。

これ以上の性能のモデルは、相当のお金をかけない限り実用的では有りません。次に、ローカルで使え性能が高いLLMは、deepseek v4 flashですが、q2ですら90GBくらいあるため、GPUで動作させるのは難しでしょう。

動かす要件

q4量子化を使用することを考えると、最低でもGPUのメモリーは24GB、32GB必要でしょう。しかし、このメモリーサイズではQwen 3.6 27B、35Bを動かすにはギリギリです。キャッシュも考えると、GPUのメモリーが溢れる可能性が高く、高速に動作しない可能性があります。GPUのメモリーが48GBあれば、両方とも動くことでしょう。ですから、GPUのメモリーは48GBをなるべく目指したいところです。

目指すべきPC

LLMはGPUで動かさないと低速です。AIエージェントとしては使い物になりません。ですから、CPUの性能は余り気にしません。一方で、GPUメモリにLLMが乗らない場合を気にするなら、GPUは高速な方が良い。とはいえ、CPUでLLMを使わない(推論させない)のがベストです。

メインメモリーは最低64GBにしましょう。これは、LLMはメインメモリーに一時的に保存されるため、LLMが入る十分な容量を確保する必要があるからです。

GPUは次の低価格構成にすれば、低予算かつLLMが実用レベルで動くでしょう。

  • RTX5060Ti 16GB x 2枚
  • RTX5060Ti 16GB x 3枚

RTX5060Ti 16GB x 2枚構成はメモリー的にはギリギリです。なるべく3枚構成を狙いましょう。

なお、ここで述べた最低限の構成でも、昨今の価格高騰のため、今作ると高価になるかもしれません。

例:RTX4060Ti 3枚構成のトークン生成速度

  • Qwen3.6 27B q4 15.70 tokens/s
  • Qwen3.6 27B MTP q4 26.04 tokens/s
  • Qwen3.6 35B A3B MTP q4 79.29 tokens/s
  • Qwen3.6 35B A3B q6 64.64 tokens/s
0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?