株式会社デイワンの月森です。
社内資料に答えるAI（RAG）を、外へ一切通信しない Mac mini 1台で動かせるかを試しました。
ローカルのモデル2本を「一次回答」と「拾い直し」に分けて組み合わせると、108問中 92〜94問に正しく答えました。
同じ108問で、クラウドの Claude Sonnet 5 を使った当社の今の答え方は 85〜92問でした。
この記事では、その組み合わせ方と数字、まだ届いていない所をまとめます。
数字はすべて当社の試験の値です。設問は、ある製造業の会社の資料（7点・339ページ）から作った108問で、答えてはいけない問8問を含みます。
使ったもの
| 項目 | 内容 |
|---|---|
| 機械 | Mac mini（M5 Pro・メモリ64GB） |
| 動かし方 | Ollama。外への通信なし |
| 一次回答のモデル | Qwen3.6 35B-A3B |
| 拾い直しのモデル | Gemma 4 31B（4bit 量子化） |
| 比べた相手 | Claude Haiku 5.5・Claude Sonnet 5 |
組み合わせ方
答え方は、ローカル向けに作り直した「1回呼び」です。
検索はプログラムが行い、上位6ページを渡して、モデルには1回だけ答えさせます。
クラウドのモデルでは、AI が自分で探して何度も読む形を使っていますが、ローカルでこれをすると1問に平均5分かかったため、この形にしました。
そのうえで、モデルを2本並べます。
- まず Qwen3.6 が答える。速く、1問3〜5秒で返る
- Qwen3.6 が「資料に見当たらない」と返した問だけ、同じページを Gemma 4 に渡して答え直させる
Qwen3.6 だけでは 108問中 59〜66問でした。
落ちた問を見ると、渡したページに答えの語が全部あるのに「見当たらない」と返す形が大半で、検索ではなくモデルの慎重さが原因でした。
Gemma 4 は遅い代わりにここを拾え、Qwen3.6 が落とした49問のうち36問に答えました。
結果
| 構成 | 正答（108問） | 1問の時間 |
|---|---|---|
| Qwen3.6 単独 | 59〜66 | 平均3〜5秒 |
| 二段（Qwen3.6 → Gemma 4） | 92〜94（3回の平均 92.3） | 平均15秒・全問50秒以内 |
| 参考：Claude Sonnet 5（今の答え方） | 85〜92 | 数秒〜数十秒 |
| 参考：Claude Haiku 5.5（1回呼び） | 102〜103 | 平均4.8秒 |
答えてはいけない8問は、二段で8問とも断れました。
当社の目安だった「1問50秒以内・精度80〜90%」は満たしています。
見方
Sonnet 5 と同じくらいの数字が、外へ出さない1台の機械で出たのは、閉じた環境が要る会社には大きいと考えています。
ただし、比べたのは答え方の違う構成どうしで、同じ1回呼びなら Haiku 5.5 の102問に届いていません。
「Sonnet 並み」と言い切るより、「文章中心の資料の検索なら、ローカルでも実用の線に乗った」と見るのが正確です。
効いたのは、大きいモデル1本に替えることではなく、速いモデルと慎重でないモデルの得意を分けて並べたことでした。
押さえておく点
- 入れると下がるものがある。 回答の決まり（ルールブック）を指示文に入れると 94→92問、窓口の案内などの地図を入れると 89→76問・1問43秒に悪化しました。Claude では効く工夫が、ローカルでは長い指示として足を引っ張ります。
- 図面は読めない。 図面の問12問では、ローカルは3〜5問でした（Claude Haiku は画像ありで8〜9問）。
- 2本は同時に載らない。 64GB ではモデルが入れ替わるので、複数人が同時に聞くと待ちが伸びる見込みです（未計測）。
- Gemma 4 は考える機能を切らない。 切るとページを読み続けて答えを出さなくなりました。
おわりに
閉じた環境でAIを使いたい相談は増えていますが、モデルの名前や大きさより、自社の資料で何問答えられ、何秒かかるかで決めるのが確かです。
同じ108問での測り直しは、新しいモデルが出るたびに続けていきます。