※下書きの一部はAI支援を使っています。数値・結果はすべて自分で実行し、検証しました。
先に結論を書きます。ユーザー向けのチャットに1モデルを据えるなら Claude Fable 5.2、バッチ処理や予算重視なら Kimi K3.1 Pro です。能力差は19タスクで1問だけ。しかもそれは2回の「取りこぼし」によるもので、モデルの地力ではありません。
2026年11月12日、同じ日に、同じエンドポイント、同じマシンで19タスクを両モデルに通しました。実行は各19回、コード系は最大3ラウンドまで修正を許しました。採点はすべてスクリプトで行い、モデルの説明文は一切加点していません。
検証環境とタスク
- エンドポイント：OpenAI 互換の1つだけ。変えたのはモデル文字列のみです。
- タスク：コード修正3、ゼロ実装3、ツール編成3、リポジトリQA3、指示追従3、誤誘導耐性2、長文脈2の計19問。
- 採点：コードは隠しユニットテスト、構造化出力はJSONパース、リポジトリQAは完全一致、長文脈は埋め込んだ目印の照合。
base_url = "https://api.crazyrouter.com/v1"
では、どこで差が出たのか？
結果
| 次元 | 問題数 | Kimi K3.1 Pro | Claude Fable 5.2 |
|---|---|---|---|
| コード修正 | 3 | 3/3 | 3/3 |
| ゼロ実装 | 3 | 3/3 | 3/3 |
| ツール編成 | 3 | 2/3 | 2/3 |
| リポジトリQA | 3 | 3/3 | 3/3 |
| 指示追従 | 3 | 2/3 | 3/3 |
| 誤誘導耐性 | 2 | 2/2 | 2/2 |
| 長文脈 | 2 | 2/2 | 2/2 |
| 合計 | 19 | 17/19 | 18/19 |
コード系6問は両方とも1ラウンドで通過。リポジトリQAと長文脈も全問正解でした。存在しないモデル名を聞く誤誘導テストでも、両方とも数値をでっち上げませんでした。
落とした2問
1問目はツール編成の「先月の注文総額」。Kimi は search_docs を選び、ドキュメント検索に走りました。Fable は run_sql を選びましたが、SQL が information_schema を引いており、注文テーブルではありません。両方とも不正解、間違え方が違うだけです。
2問目は指示追従の執筆課題（140〜160字、必須3点、禁止4語）。Kimi が今回字数を外しました。同じ問題は前回の予備実行で155字で通過しており、出力の不安定さと見るのが妥当です。
どちらも「理解できなかった」ではなく「手が滑った」類です。本番ではエラーにならず、手戻りとして現れます。
コストはどこに消えるのか？
請求額を決めるのは出力トークンの構造
| モデル | 出力トークン | うち思考 | 可視テキスト |
|---|---|---|---|
| Kimi K3.1 Pro | 10,896 | 9,175 | 1,721 |
| Claude Fable 5.2 | 6,386 | 0 | 6,386 |
Kimi は出力の84%が思考です。コストは読める文字ではなく「考える」側に寄っています。Fable は思考トークンがゼロで、支払うトークンはすべて読める文字です。
可視テキストあたりに直すと、Kimi は100万トークン約 $63.3、Fable は約 $40.0。単価が4倍のモデルのほうが、読める文字あたりでは安いという逆転が起きます。
長文脈は「上限を試していない」
400行のログの287行目に埋めた鍵と、800行のモジュール末尾の定数。両方とも正解でした。
ただし材料は約1.4万トークンです。Kimi は104万トークンを公称していますが、Fable 5.2 の公式ページにはコンテキスト数の記載がありません。この2問は「1.4万トークンでは両者とも取りこぼさない」ことしか示しません。上限を語るには上限近くの入力を組む必要があり、今回はやっていません。
統合してから踏む4つの罠
temperature は共通パラメータではありません。 Kimi は 0.7 で 400 を返し、しかもエラーが項目名を教えてくれません。gpt-6.1-terra は 1 以外を受け付けません。Claude は 2 を渡しても黙って無視します。Gemini は 5 で 429 を返し、レート制限に見えます。DeepSeek は 5 で明確な 400。6モデルで5通りの挙動です。
200 でも中身が空のことがあります。 Kimi の上限を1,200にすると、200・finish_reason: length・中身は0文字・思考1,197トークンでした。ステータスコードではなく中身の長さと終了理由を見る必要があります。
構造化出力にも方言があります。 Claude 系のルートは json_object を 400 で拒否し、json_schema を使えと返します。他のモデルは json_object で通ります。
ツール呼び出しは当たり前ではありません。 gpt-6.1-terra は3回とも「一時的に利用できません」を返しました。Gemini は tool_choice: required が必要で、auto だと5回中4回が中身が空でした。
どちらを選ぶか
| 用途 | 選ぶモデル | 理由 |
|---|---|---|
| ユーザー向けチャット | Fable 5.2 | 実測の総時間 130.1秒 対 401.6秒 |
| バッチ・非同期 | Kimi K3.1 Pro | バッチは定価の60%で課金 |
| 出力をプログラムが読む | どちらでも可 | JSONと表は両方通過。ただし検証は必須 |
| 長文脈の検索 | どちらでも可 | 1.4万トークンでは差なし。上限は未検証 |
| ツール編成 | どちらも検証を追加 | 同じSQL問題を両方が落とした |
コスト
今回の19タスクを公式価格で換算すると、Kimi は入力27,131・出力10,896で $0.163、Fable は入力36,074・出力6,386で $0.544。3.3倍の差です。
代表的な3つの負荷では、サポート10万ラウンドが約$460 対 $1,840、文書1,000件が約$31 対 $124、コーディング支援（入力2M／出力400k）が約$8 対 $32。いずれも3倍前後です。
価格は変わるので、確認はモデル一覧と料金ページで行ってください。使えるモデルの一覧はモデルカタログにあります。
この19問で言い切れるのか？
制限と再現方法
19問、2モデル、1日。方向性は出ますが、断定には足りません。より長い文脈、マルチターンのツール呼び出し、Anthropic の価格ページの深掘り（今回は $8/$40 とキャッシュ読み取り $0.20 のみ確認）は未実施です。
自分の数字が欲しい場合、手順は3つです。よく聞く質問を10回投げて中央値と最悪値を記録する。実際に公開する原稿を1本、プラットフォームのルール付きで書かせて修正箇所を数える。max_tokens を2段階にして各3回実行し、length で終わる回数を数える。
20分もかかりません。手元の数字のほうが、この記事より信頼できます。