1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

DeepSeek V4.1 Flash 1017 vs Claude Haiku 5.5:ターミナル系コーディングエージェントでの性能とコスト比較

1
Last updated at Posted at 2026-10-19

この記事は AIHubMix が作成しました。調査日と、AIHubMix 経由での動作確認日は、いずれも2026年10月19日です。ベンチマークの数値はすべて DeepSeek と Anthropic がそれぞれ自社で公表したもので、同じ条件で両モデルを測った第三者の結果はまだありません。

TL;DR

  • Claude Code でのターミナル作業に最も近い Terminal-Bench 4.0 では、DeepSeek V4.1 Flash 1017 が 42.3、Claude Haiku 5.5 が 39.2 です。どちらもベンダー公表値で条件も違うため、「ほぼ互角で、1017 がわずかに上」と読むのが妥当です。
  • コストはコンテキストの長さで逆転します。プロンプトが10万トークン以下に収まる最初の21回の呼び出しでは、Haiku 5.5 が $0.040、1017 がピーク時 $0.077、オフピーク時 $0.039 です。
  • 同じセッションを40回(プロンプト最大17万6,000トークン)まで続けると、Haiku 5.5 が $0.288、1017 がピーク時 $0.152、オフピーク時 $0.076 になります。Haiku 5.5 は、プロンプトが10万トークンを超えたリクエスト全体を5倍の単価で課金するためです。
  • 知識系の質問、PDF 入力、コンピューター操作(computer use)、プロンプトインジェクション耐性では Haiku 5.5 が有利です。
  • AIHubMix なら、1つの API キーで両モデルを Claude Code から呼び出し、同じタスクで比べられます。

比べる理由:10日違いで出た最安クラスのエージェントモデル

Claude Haiku 5.5 は2026年10月7日、DeepSeek V4.1 Flash 1017 は10日後の10月17日に公開されました。どちらもそれぞれのベンダーでエージェント用途に使える最安クラスで、Claude Code 上で動きます。Anthropic は Haiku 5.5 をコーディング用のサブエージェントと位置づけ、自社 API での Claude Code の既定の haiku モデルにしています。DeepSeek は Anthropic 形式のエンドポイントを用意しており、1017 の Terminal-Bench 4.0 のスコアも Claude Code 上で測定しています。1017 の公開から数日のうちに、この2モデルを比較するページが相次いで公開されました。

Gemini 3.8 Flash もよく名前が挙がり、DeepSeek 自身のコスト比較図にも登場します。ただし9月初めの公開時の価格が入力 $0.75、出力 $3.75(100万トークンあたり)と、この2モデルの数倍なので、今回は比較から外しました。

準備するもの

  • AIHubMix の API キー(環境変数 AIHUBMIX_API_KEY に設定)。両モデルとも AIHubMix で使えます:deepseek-v4.1-flash-1017、claude-haiku-5-5
  • Claude Code
  • 両モデルに同じ条件で解かせる、手元のリポジトリの失敗しているテスト、または小さなタスク

Claude Code から1つのキーで両モデルを使う

AIHubMix の Claude Code ガイド の手順どおり、Claude Code の接続先を AIHubMix に向けます。

claude_aihubmix.sh
export ANTHROPIC_BASE_URL="https://aihubmix.com"
export ANTHROPIC_AUTH_TOKEN="$AIHUBMIX_API_KEY"
export ANTHROPIC_MODEL="deepseek-v4.1-flash-1017"
claude

起動したら、次の2点を押さえておきます。

  • 推論強度(effort)を必ず設定します。 例:CLAUDE_CODE_EFFORT_LEVEL=high。AIHubMix が10月19日に Anthropic Messages プロトコル(Claude Code が使うプロトコル)で確認したところ、1017 は2ターンのツール呼び出しを完了しました。ただし、effort を指定しないリクエストではテキストとツール呼び出しだけが返り、thinking ブロックは含まれていませんでした。effort を指定したリクエストでは thinking ブロックが返りました。
  • セッション内でモデルを切り替えます。 /model claude-haiku-5-5 と入力すると、同じキーのまま Haiku 5.5 に切り替わります。同じ失敗テストを両モデルに解かせ、diff とリクエストログを見比べてください。

仕様と料金を並べて確認するなら、AIHubMix の比較ページ が便利です。

ベンチマーク:Terminal-Bench 4.0 はほぼ互角

Terminal-Bench 4.0 は、実際のツールを使った長いシェルセッションで、エージェントが作業をやり遂げたかどうかを採点するベンチマークです。Claude Code でのセッションに最も近い公開ベンチマークといえます。1017 の数値は DeepSeek の モデルカード、Haiku 5.5 の数値は Anthropic の Haiku 5.5 発表記事 から取りました。同じハーネス・同じ設定で両モデルを測った結果は、まだ誰も公表していません。

モデル Terminal-Bench 4.0 公表元
Claude Sonnet 5.5 70.6 Anthropic
DeepSeek V4.1 Flash 1017 42.3 DeepSeek
Claude Haiku 5.5 39.2 Anthropic
DeepSeek V4.1 Flash(9月版) 31.2 DeepSeek

DeepSeek は Terminal-Bench 4.0 を Claude Code のハーネスで実行しています。Anthropic の主要な表には、Haiku 5.5 の推論強度が明記されていません。

設定の異なるベンダー公表値どうしの3ポイント差は、決定的な差ではありません。これまでに公開された Haiku 5.5 の第三者による測定は Anthropic の数値を下回り、測定どうしでも食い違っています。1017 については、第三者による Terminal-Bench 4.0 の結果はまだ見当たりません。Anthropic 自身も、発表記事で次のように書いています。

Sonnet 5.5 and Opus 5.5 remain better choices for complex agentic coding tasks like those measured by Terminal-Bench 4.0.

(Terminal-Bench 4.0 で測られるような複雑なエージェント型コーディングタスクには、引き続き Sonnet 5.5 と Opus 5.5 のほうが適しています。)

いちばん難しいシェル作業は、どちらの安価なモデルにも任せないほうがよいということです。

それ以外のベンチマークには、両社で共通するものがほとんどありません。DeepSeek は DeepSWE v1.1(77.0)と ProgramBench(29.1)、Anthropic は FrontierCode 1.1(46.4)と OSWorld 2.1(72.4)を公表していますが、どれも相手側のモデルのスコアは出ていません。仕様表で比べられるのは次のとおりです。

項目 V4.1 Flash 1017 Claude Haiku 5.5
Terminal-Bench 4.0 42.3 39.2
HLE(ツールなし) 42.6 45.9
コンテキスト長 1M 1M
最大出力 384K 128K
入力形式 テキスト、画像 テキスト、画像、PDF
プロンプト10万トークン超の料金 変わらない 5倍
推論強度の段階 3段階 5段階
オープンウェイト あり(MIT ライセンス) なし

ベンチマークはベンダー公表値です。DeepSeek の推論強度は low、high、max の3段階、Haiku 5.5 は low、medium(既定)、high、xhigh、max の5段階です。

コスト試算:10万トークンの境目で逆転する

どちらのモデルについても、タスクあたりのトークン数を示した公開テストはありません。そのため、TL;DR の金額は次の前提を置いた試算です。

  • モデル呼び出しは40回です。プロンプトは2万トークンから始まり、1回ごとに4,000トークン(ツールの出力と直前の回答)ずつ増えて、最後は17万6,000トークンになります。
  • 各呼び出しは、それまでのプロンプトをキャッシュから読み込み、新たに4,000トークンを追加します。
  • 各呼び出しの出力は、思考部分を含めて1,500トークンです。
  • 両モデルのトークナイザーは異なりますが、同じトークン数で計算しています。
  • 料金は AIHubMix の定価です。1017: 新規トークンはキャッシュミス、キャッシュ済みの部分はキャッシュヒットの単価で、ピーク時とオフピーク時に分けて計算します。Haiku 5.5: 新規トークンは5分キャッシュに書き込み、キャッシュ済みの部分はそこから読み込みます。プロンプトが10万トークンを超える呼び出しは、リクエスト全体を上位の単価(100万トークンあたり入力 $0.50、出力 $2.50、キャッシュ読み込み $0.05、キャッシュ書き込み $0.625)で計算します。
セッション 1017 ピーク時 1017 オフピーク時 Haiku 5.5
最初の21回(プロンプト10万まで) $0.077 $0.039 $0.040
40回すべて(プロンプト17.6万まで) $0.152 $0.076 $0.288

Haiku 5.5 の $0.288 のうち $0.248 は、10万トークンを超えた19回の呼び出しの分です。1017 のピーク時の40回分は、新規17万6,000トークン × $0.3098 + キャッシュ374万4,000トークン × $0.0062 + 出力6万トークン × $1.2392 = $0.152 です(単価はすべて100万トークンあたり)。

次のスクリプトで上の表を再現できます。呼び出し回数、プロンプトの増え方、出力の長さを自分のリクエストログの数値に置き換えて使ってください。トークナイザーが違うため、実際のトークン数は2つのモデルで異なります。

session_cost.py
# Cost of one Claude Code session at AIHubMix list prices (USD per 1M tokens).
# Assumptions: 40 calls; the prompt starts at 20K tokens and grows 4K per call;
# each call reads the earlier prompt from cache, adds 4K new tokens, and writes 1.5K output.
M = 1_000_000
FLASH = {"peak": (0.3098, 0.0062, 1.2392), "off-peak": (0.155, 0.0031, 0.62)}  # miss, hit, out
HAIKU = {"short": (0.125, 0.01, 0.50), "long": (0.625, 0.05, 2.50)}  # 5-min write, read, out


def calls(n):
    prompt = 20_000
    for i in range(n):
        new = prompt if i == 0 else 4_000
        yield prompt, prompt - new, new, 1_500  # prompt, cached, new, output
        prompt += 4_000


def flash(tier, n):
    miss, hit, out = FLASH[tier]
    return sum(new * miss + cached * hit + o * out for _, cached, new, o in calls(n)) / M


def haiku(n):
    total = 0.0
    for prompt, cached, new, o in calls(n):
        write, read, out = HAIKU["long" if prompt > 100_000 else "short"]  # whole request
        total += new * write + cached * read + o * out
    return total / M


for n in (21, 40):
    print(f"{n} calls: 1017 peak ${flash('peak', n):.3f}, "
          f"off-peak ${flash('off-peak', n):.3f}, Haiku 5.5 ${haiku(n):.3f}")
実行結果
21 calls: 1017 peak $0.077, off-peak $0.039, Haiku 5.5 $0.040
40 calls: 1017 peak $0.152, off-peak $0.076, Haiku 5.5 $0.288

この数字を動かすレバーは2つあります。

  • Haiku 5.5 では、 各リクエストを10万トークン未満に保ちます。Claude Code の /compact や、短時間で終わるサブエージェントが使えます。同じ40回をすべて下位の単価で課金できた場合は $0.089 です。
  • 1017 では、 バッチ処理や夜間のエージェント実行を、平日の UTC 01:00〜04:00 と 06:00〜10:00(日本時間 10:00〜13:00 と 15:00〜19:00)の外に移すと、料金が半分になります。AIHubMix では現在 1017 の期間限定30%割引も実施していますが、上の試算には含めていません。

ハマりどころ

Haiku 5.5 に切り替えたら、それまで通っていたパラメーターで 400 エラーになる

Haiku 5.5 の API は、1以外の temperature、top_k の指定、budget_tokens による手動の思考設定、assistant のプレフィル(応答の書き出しをあらかじめ埋めておく指定)を、すべて 400 で拒否します。これらをリクエストから外し、思考の深さは推論強度で調整してください。

セッションが長くなると Haiku 5.5 の料金が急に跳ね上がる

プロンプトが10万トークンを超えると、そのリクエスト全体の入力・出力・キャッシュの単価が5倍になります。上の例では、境目を超えた19回だけで、セッション全体の $0.288 のうち $0.248 を占めました。プロンプトが10万トークンに届く前にコンテキストを圧縮するか、短時間で終わるサブエージェントに処理を分けてください。長時間回すループは 1017 に任せる手もあります。

DeepSeek 公式 API で、最初のツール呼び出しの直後に 400 エラーになる

DeepSeek の 思考モードのガイド は、ツールを使う場合、それまでのすべての assistant ターンの reasoning_content を API に送り返すよう定めています。送り返さないと、リクエストは 400 で失敗します。GitHub の公開 issue では、エラーメッセージが [invalid_request_error] The `reasoning_content` in the thinking mode must be passed back to the API. と報告されています。このフィールドを捨ててしまうクライアントは、最初のツール呼び出しの直後に動かなくなります。

会話履歴に assistant のメッセージを追加するときは、reasoning_content を含むメッセージオブジェクト全体を残してください。なお、AIHubMix が10月19日に行った確認では、同じターンを reasoning_content なしで送っても 200 が返りました。このエラーとピーク時間帯の課金ルールは、シリーズの移行編で詳しく扱っています。

1017 が思考せずにいきなり回答する

AIHubMix の確認では、Messages プロトコルで effort を指定せずに送ったリクエストに thinking ブロックが含まれていませんでした。CLAUDE_CODE_EFFORT_LEVEL(自前でリクエストを送る場合は対応する effort のフィールド)を設定し、1017 が考えてから動くようにしてください。

Haiku 5.5 がセキュリティ関連の作業を断る

ComputingForGeeks のレビューによると、Haiku 5.5 は自動化された行動監査で、テストされたどのモデルよりも過剰な拒否が多く、より厳しくなったサイバーセキュリティ分類器が一部のセキュリティ作業をブロックします。エージェントにセキュリティ関連のツール作業をさせる場合は、その工程を先に試し、別のモデルも使えるようにしておいてください。一方で同じレビューは、Gray Swan のコーディングシナリオで、プロンプトインジェクションの成功率が Haiku 4.5 の 58.4% から 0.08% に下がったことも伝えています。

検証できていないこと

  • ベンチマーク: ここでのスコアはすべてベンダー公表値で、ハーネスも設定も異なります。同じハーネスで両モデルを測った結果はまだありません。
  • トークン数: 上のセッションは試算モデルで、実測ではありません。どちらのベンダーもタスクあたりのトークン数を公表しておらず、2つのトークナイザーは同じテキストでも数え方が違います。
  • AIHubMix での確認: 2026年10月19日に、各項目を1回ずつ実行しただけです。どのチャネルがリクエストを処理したかは見えないため、reasoning_content なしで 200 が返ったのはその1回の結果であり、すべての経路で同じになる保証はありません。

まとめ

  • Terminal-Bench 4.0 では 1017 が 42.3、Haiku 5.5 が 39.2 で、ほぼ互角(1017 がわずかに上)です。いちばん難しいシェル作業は、Sonnet 5.5 や Opus 5.5 の領域です。
  • プロンプトが10万トークン以下なら、Haiku 5.5 の料金は 1017 のオフピーク時とほぼ同じで、ピーク時の約半分です。
  • 10万トークンを超えると Haiku 5.5 はリクエスト全体が5倍になり、40回のセッションでは 1017 のほうが安くなります(ピーク時 $0.152、オフピーク時 $0.076 に対して $0.288)。
  • 1017 が向いているのは、長いコンテキストのメインループ、オフピークに回せる夜間・バッチ実行、仕様からプログラムを組み立てるタスクです。
  • Haiku 5.5 が向いているのは、10万トークン以下の短いサブエージェント呼び出し、ドキュメント中心の工程、コンピューター操作、信頼できない Web やリポジトリの内容を読むパイプラインです。
  • 両方を使うなら、上位モデルが計画し、1017 が長い実行を担い、Haiku 5.5 が短い調べものや要約を受け持つ構成にします。

AIHubMix なら、1つの API キーで両モデルを同じ Claude Code から試せます。手元の失敗テストを両方に解かせ、diff と請求額を比べてから、どちらをどの枠に置くかを決めてください。

あわせて読みたい:DeepSeek V4.1 Flash 1017 シリーズ

参考

1
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?