LLMへの依頼を5つの候補へ振り分ける用途で、Mac上の判断AI JeffとLayaを比較しました。ここで測るのは回答生成の品質ではなく、事前に決めた振り分け方針との一致です。
比較の条件
Mac arm64、macOS 27.0、メモリ32GiBでMLXのGPUを利用。Jeff-Qwen3.5-0.8B v1.1と、Apple向け実装laya-apple 1.6.0を使いました。Layaの日本語入力にはMultilingual版、英語入力にはEnglish版を使っています。
入力は日本語25件、英語25件、境界ケース5件。各55件を2種類の方針説明、2モデル、各3巡で実行した合計660呼び出しです。660種類の別々の依頼を試したわけではありません。速度はHTTP往復、トークナイズ、推論を含み、warm値は2・3巡目を集計しています。
現行方針では速度と一致率に差が出た
正解候補を1つに定めた50件で、Jeffは50/50、Layaは27/50の方針一致でした。warm中央値はJeff 66.5ms、Laya 26.7ms。Layaは約2.5倍速い一方、この条件ではJeffの方が事前に定めた方針に一致しました。
この100%は、今回の50件で期待ラベルに一致した割合です。実際の会話で常に正しいモデルを選べるという意味でも、選択されたクラウドモデルが最適だったという証明でもありません。
説明文の短縮で結果が変わる
入力と期待ラベルを変えず、5候補の説明を短縮すると、Layaの一致率は27/50から38/50へ変化しました。Jeffは50/50から48/50でした。今回確認できたのは説明の書き方への依存で、改善の内部的な原因は特定できていません。
confidenceの数値をそのまま移植しない
JeffとLayaは同じconfidenceという名前でも計算方法が異なります。今回の5択でJeffのconfidence 0.60は選択確率0.68に相当しますが、Layaの0.60が同じ意味になるわけではありません。
実際に、現行方針の日本語25件では、Jeff単体は全件一致しましたが、低確信度時に既定モデルへ代替する既存ルールを適用すると、全件での方針一致は80%になりました。エンジン単体と、代替処理を含むシステム全体は別に評価する必要があります。
今回の判断と限界
私は現行の5択方針に合ったJeffを維持し、Layaは今後の比較用に残しました。これはこの実験条件での選択です。Jev自体は測定しておらず、今回の結果はJevとの性能比較ではありません。最終回答の品質、クラウド費用、実会話全体での品質も未測定です。