0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

Claude Haiku 5.5 の公式ベンチを「タスク振り分け表」に落とし込む

0
Posted at

はじめに

2026年10月7日に Anthropic が Claude Haiku 5.5(モデルID claude-haiku-5-5)をリリースしました。公式の比較表を、順位ではなく「どのタスクを小型モデルに任せられるか」という実務目線で整理します。

以下の数値はすべて Anthropic の発表によるもので、独立した計測ではありません。

公式ベンチマーク

ベンチマーク Haiku 5.5 Haiku 4.5 GPT-6 Luna Sonnet 5.5
GDPval-AA v2.1(知識労働) 1620 735 1437 1840
AA-Briefcase v1.1(知識労働) 1578 614 1336 1824
OSWorld 2.1(PC操作) 72.4% 15.7% 48.9% 83.9%
HLE ツールなし 45.9% 10.2% — 56.9%
HLE ツールあり 57.4% 18.7% — 64.5%
Terminal-Bench 4.0(エージェント型コーディング) 39.2% 0.0% 16.4% 70.6%
FrontierCode 1.1 46.4% — 42.4% 52.1%
Chartography(視覚推理) 46.4% 6.4% 29.1% 61.6%

ポイント

  • 前世代から大幅向上:OSWorld 15.7%→72.4%、Terminal-Bench 0.0%→39.2%。ツール呼び出しやエラー回復を含む長い操作チェーンで伸びています。
  • GPT-6 Luna より上(公表項目に限る):メーカー自身の表なので、未テストのタスクには一般化しないこと。
  • Sonnet 5.5 とのティア差は健在:Terminal-Bench は 39.2% vs 70.6%。複数ファイル編集や長期エージェント作業は依然 Sonnet 向き。

料金と「成功タスク単価」

リクエスト 入力 出力 キャッシュ読み取り
100K tokens 以下 $0.10 / MTok $0.50 / MTok $0.01 / MTok
100K tokens 超 $0.50 / MTok $2.50 / MTok $0.05 / MTok

表面上の単価は Haiku 4.5 比で 90% 減ですが、新トークナイザーでトークン数がやや増えるため、平均実行コストは約 75% 減とされています。本番で見るべきは次の指標です。

成功タスク単価 = タスク完了までの総コスト ÷ 成功したタスク数

100K 境界を踏まえた構成

  1. Haiku で文書を分類・関連性フィルタ
  2. 原文を構造化サマリーに圧縮
  3. 関連箇所だけを大型モデルへ
  4. 繰り返すコンテキストはキャッシュ
  5. 会話は毎回全文を再送せず、検索可能な状態として保存

effort 設定

Haiku として初めて effort を調整可能。単一スコアより「コスト–品質曲線」で評価すべきです。分類・フォーマット変換は低 effort、長文要約や複数ステップのブラウザ操作は高 effort。ただし effort を上げても Terminal-Bench の差は埋まりません。

振り分け表(たたき台)

タスク デフォルト
分類・ルーティング・ラベル付け Haiku 5.5
フィールド抽出・データ整形 Haiku 5.5
要約・コンテキスト圧縮 Haiku 5.5
短いブラウザ操作 Haiku 5.5
コード説明・小修正 Haiku / Sonnet(テスト有無とミスのコスト次第)
複数ファイル編集 Sonnet 5.5
長時間のエージェント型コーディング Sonnet / Opus 5.5
最終レビュー・重要判断 Sonnet / Opus 5.5

まとめ

Haiku 5.5 は Sonnet 5.5 を超えてはいませんが、「大量に使える」ことが強み。これまで中型モデルが必要だった仕事の一部を、速くて安い実行層に移せます。

元記事(英語、登録なしで閲覧できます):
https://folkbench.com/en/blog/claude-haiku-5-5-official-scorecard?utm_source=luntan&utm_campaign=qiita

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?