0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

Claude Fable 5.2は5.1より1回あたり40%安い。でもOpus 5.5が同じバグを半額で直した(実バグ25件・125回)

0
Posted at

今週Claude Fable 5.2が出ました。価格は100万トークンあたり入力8ドル、出力40ドルです。Fable 5.1より20%安く、Opus 5.5の2倍です。知りたいことは2つでした。バグ1件を直すコストも本当に下がったのか。そしてOpusよりバグをよく直せるのか。

3つのモデルにClaude Codeで同じ実バグ25件を直させ、プロジェクトのメンテナーが書いたテストで採点しました。

  • Fable 5.2は5.1より1回あたり40%安くなりました(0.73ドル対1.22ドル)。定価の値下げ幅の2倍です。出力トークンは27%少なく、キャッシュ読み込みは67%少なく、所要時間の中央値は136秒から65秒と半分になりました。
  • Fable 5.2とOpus 5.5は直せた数が同じでした。どちらも50回中37回をきれいに直しました。差は0ポイントです(95%区間 -8〜+8)。
  • きれいな修正1件あたりのコストはOpus 5.5が最安でした。Opus 0.54ドル、Fable 5.2 0.99ドル、Fable 5.1 1.60ドルです。

修正率と1回あたりのコスト

測り方

バグ25件は前回のHaiku・Sonnet・Opus比較と同じです。2026年8〜10月に実際に修正された、13のオープンソースプロジェクトのバグです。15件は原因が症状の近くにある「易しい」バグ、10件は症状しか書かれていない「難しい」バグです。

毎回、修正直前のコミットから始め、バグ報告は症状と期待する結果だけに絞りました。Claude Code 2.1.322をヘッドレスで実行しました。effortはmedium、テスト実行は許可、Webとインストールは禁止です。メンテナーの修正テストがすべて通り、ほかのテストを壊さなければ「きれいな修正」と数えました。

実行前にGitHubで事前登録し、修正を1回、日付つきで記録しました。最初の21回で、サブスクリプションの5時間枠を34分で使い切りました。そのため採点前に計画を175回から125回に減らしました(バグごとにFable 5.2を2回、5.1を1回、Opusを2回)。

結果

Fable 5.2 Fable 5.1 Opus 5.5
きれいな修正 37/50 (74%) 19/25 (76%) 37/50 (74%)
1回あたりのコスト 0.73ドル 1.22ドル 0.40ドル
修正1件あたり 0.99ドル 1.60ドル 0.54ドル
1回あたりの出力トークン 5,893 8,124 6,125
1回あたりのキャッシュ読み込み 29.8万 88.9万 44.0万
1回あたりのターン数 14.6 21.0 17.4
所要時間の中央値 65秒 136秒 67秒

コストはClaude Codeのログに残るAPI定価ベースの金額です。易しいバグではFable 5.2が1回0.48ドル、Opusが0.26ドルでした。難しいバグでは1.11ドル対0.61ドルでした。

3モデルとも同じ4件を直せませんでした。cachetools、js-yamlのBOM、tomlkitのアンダースコア、zodの数値キーのバグです。報告に書かれていないケースを見つけたモデルはありませんでした。

限界

バグ25件で、Fable 5.2とOpusはバグごとに2回、Fable 5.1は1回です。そのためFable 5.1の修正率がいちばん不確かです。PC1台、プロンプトの形式1つ、effort mediumだけです。範囲の決まった単一のバグなので、複数ファイルにまたがる大きな作業では差が出るかもしれません。

データ

135回すべて(計画の125回と、修正前に終わっていた10回)のログ、変更内容、スコアをCC BY 4.0で公開しています。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?