0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

OpenAI Ultrafast modeを実測した:料金は6倍で、応答は何倍速いか

0
Posted at

OpenAI の Ultrafast mode は、Responses API の service_tier に "ultrafast" を指定する処理区分です。公式ガイドでは、対応モデルは現時点で gpt-6-astra と gpt-6.1-sol です。公式 changelog は、目的を生成トークン同士の間隔を短くすること(reduce the time between generated output tokens)と説明しています。料金の 6 倍は公式の短コンテキスト単価で、Fast mode は 2 倍です(料金表、GPT-6.1 Sol の "Ultrafast mode prices are 6x Standard")。

ドキュメントだけだと、6 倍の料金に対して待ち時間が何倍短くなるのか、最初のトークンまでの時間(TTFT)も縮むのか、短い返信と、推論が長めの実装タスクで差が同じなのかが分かりません。今回は 2 種類の日本語タスクを、OpenAI 公式 API で測りました。

計測条件

  • 日時: 2026-11-18 (JST) 02:23〜02:35
  • API: POST https://api.openai.com/v1/responses(HTTP ストリーミング。公式がエージェント用途で推奨する WebSocket は今回測っていない)
  • モデル: gpt-6.1-sol と gpt-6-astra
  • service_tier: default / fast / ultrafast(応答の service_tier は、usage が取れたリクエストでは指定どおりだった。service_tier を省略した予備確認では default が返った)
  • reasoning.effort: 本文の比較はすべて medium(応答上も medium)。追加で gpt-6.1-sol の短いタスクだけ low を測った。none は gpt-6.1-sol では 400(supported: low / medium / high / xhigh / max)
  • クライアント: Python + requests(SDK は使わず、生の HTTP)
  • 実時間はクライアント側。送信開始から、最初の空でない response.output_text.delta までを TTFT、最後のテキスト delta までを生成時間、HTTP ストリーム終了までを e2e とした
  • 可視トークン/秒は、公式のレイテンシ案内に沿い、(output_tokens - reasoning_tokens) / 最初のテキストから最後のテキストまでの時間 で計算した
  • 各条件はウォームアップ 1 回のあと 5 回。ラウンドごとにモデル・tier・タスクを交差させて打った
  • 計測した 60 リクエストはすべて HTTP 200。うち 3 件は response.completed の JSON をパースできず、usage と tokens/s は欠測(e2e / TTFT は 5 件とも記録)。該当セルの usage 系は n=4
  • 料金見積もりは公式ドキュメントの短コンテキスト単価(1M tokens あたり)。Standard は gpt-6.1-sol 入力 $2 / 出力 $10、gpt-6-astra 入力 $10 / 出力 $50。Fast は 2 倍、Ultrafast は 6 倍。キャッシュは今回乗っていない(usage が取れたリクエストでは cached_tokens はすべて 0)
  • エンドポイントは api.openai.com。jp.api.openai.com は測っていない。公式では、gpt-6.1-sol の Ultrafast は US / EU のデータレジデンシーと global processing、gpt-6-astra の Ultrafast は US と global のみ

結論(先に)

中央値です。倍率は default を基準にしています。

タスク モデル default e2e fast e2e ultrafast e2e default 比(ultrafast)
短い障害初動(3行) gpt-6.1-sol 6.120s 4.054s 2.378s 約 2.6 倍
短い障害初動(3行) gpt-6-astra 7.910s 4.505s 2.360s 約 3.4 倍
税込計算の修正(推論が長め) gpt-6.1-sol 21.572s 12.605s 4.275s 約 5.0 倍
税込計算の修正(推論が長め) gpt-6-astra 21.136s 14.041s 4.704s 約 4.5 倍
タスク モデル default 可視 tokens/s fast ultrafast ultrafast / default
短い障害初動(3行) gpt-6.1-sol 53.81(n=4) 84.98(n=4) 450.41 約 8.4 倍
短い障害初動(3行) gpt-6-astra 43.88 93.59 474.51 約 10.8 倍
税込計算の修正 gpt-6.1-sol 82.27 125.68(n=4) 390.38 約 4.7 倍
税込計算の修正 gpt-6-astra 77.97 132.05 359.82 約 4.6 倍
  • 公式が強調する「トークン間隔」は、可視トークン/秒としてはっきり出た。Ultrafast の短い出力では生成時間が 0.3s 前後しかないため、この指標のばらつきは大きい
  • 推論が長いタスクでは、待ちの大半が TTFT だった(gpt-6.1-sol の default は e2e 21.572s のうち TTFT 16.314s、reasoning tokens の中央値 494)。Ultrafast は TTFT も 3.091s まで縮めた
  • 料金の公比は 6 倍だが、実際の 1 リクエスト費用はトークン数の差で 5.5〜8.0 倍になった。effort=low で reasoning が 0 かつトークン数が揃ったときだけ、費用比はちょうど 6.0 倍だった
  • 答えの中身は、どの tier でも障害初動の型は揃い、税計算では「[100]・税率 10% は元の関数でも 110 になる」ことと、float + int() 切り捨てが本当の問題であることを同じ方向で指摘した

以下、それぞれの詳細です。

共通: 最小クライアント

import os, time, json, requests

API = "https://api.openai.com/v1/responses"
HEADERS = {
    "Authorization": "Bearer " + os.environ["OPENAI_API_KEY"],
    "Content-Type": "application/json",
}

def run(model, prompt, service_tier):
    body = {
        "model": model,
        "input": prompt,
        "service_tier": service_tier,
        "reasoning": {"effort": "medium"},
        "stream": True,
    }
    t0 = time.perf_counter()
    ttft = None
    t_last = None
    text = []
    completed = None
    with requests.post(API, headers=HEADERS, json=body, stream=True, timeout=180) as r:
        r.raise_for_status()
        # 行が揃ってから UTF-8 をデコードする(チャンク境界で壊れないように)
        for line in r.iter_lines(decode_unicode=False):
            if not line or not line.startswith(b"data: "):
                continue
            payload = line[6:]
            if payload.strip() == b"[DONE]":
                break
            ev = json.loads(payload)
            typ = ev.get("type")
            if typ == "response.output_text.delta":
                delta = ev.get("delta") or ""
                if delta:
                    now = time.perf_counter()
                    if ttft is None:
                        ttft = now - t0
                    t_last = now - t0
                    text.append(delta)
            elif typ == "response.completed":
                completed = ev.get("response")
            elif typ == "response.failed":
                raise RuntimeError(ev)
    return {
        "elapsed_s": time.perf_counter() - t0,
        "ttft_s": ttft,
        "gen_s": None if ttft is None or t_last is None else t_last - ttft,
        "text": "".join(text),
        "usage": (completed or {}).get("usage"),
        "service_tier": (completed or {}).get("service_tier"),
    }

対応していないモデルに ultrafast を付けると、非ストリームでは HTTP 400(Invalid service_tier argument)でした。ストリームでは HTTP 200 のあと error / response.failed が来たので、ステータスコードだけ見ると見落とします。

1. 短い障害初動(3行)

プロンプトは次の 1 文です。

次の障害の初動を、日本語で3行だけ書いてください。事実:本番の /v1/orders が昨夜のデプロイ以降、約2%のリクエストだけ500を返す。

可視トークンはどの tier もおおよそ 120〜130、本文は 150 字前後です。

gpt-6.1-sol(中央値、5 回。default / fast の tokens/s と費用は n=4)

指標 default fast ultrafast
e2e 6.120s(5.076〜7.762) 4.054s(3.240〜5.404) 2.378s(1.814〜2.447)
TTFT 3.401s 2.367s 1.813s
可視 tokens/s 53.81(n=4) 84.98(n=4) 450.41
可視 tokens 129.5(n=4) 125.0(n=4) 127.0
reasoning tokens 43(n=4) 85(n=4) 88
公式単価の費用 $0.001916(n=4) $0.004512(n=4) $0.013596

gpt-6-astra(中央値、5 回)

指標 default fast ultrafast
e2e 7.910s(6.224〜10.191) 4.505s(3.621〜6.589) 2.360s(1.967〜2.912)
TTFT 5.504s 3.053s 1.743s
可視 tokens/s 43.88 93.59 474.51
可視 tokens 124.0 118.0 129.0
reasoning tokens 45 77 90
公式単価の費用 $0.008780 $0.021760 $0.070080

短いタスクでは、e2e の差は数秒です。Ultrafast の生成時間自体は 0.3s 前後しかなく、可視 tokens/s の倍率(約 8.4〜10.8 倍)ほど e2e は縮みません。TTFT がまだ 1.7〜1.8s 残るからです。

内容はどれも、「関係者へ共有する」「500 のログとトレースを見る」「デプロイが原因とは断定せず、安全ならロールバックを検討する」という型でした。Ultrafast だけが明らかに薄い、という差は見ませんでした。

2. 税込計算の修正(推論が長め)

同じ関数を渡し、失敗例・原因 2 文・修正関数・pytest を 2 つ、日本語で書くよう依頼しました。元の関数は float の税率を各行に掛けて int() で切る実装です。プロンプトには「100円・税率10% で 110 にならない」と書きましたが、これは後述のとおり、この関数でも [100] だけなら 110 になります。

入力は 210 tokens で安定していました。出力は可視 370〜420 tokens、reasoning は 430〜520 tokens 程度です。待ち時間の中心は生成ではなく、最初の本文が出るまでの推論です。

gpt-6.1-sol(中央値、5 回。fast の tokens/s と費用は n=4)

指標 default fast ultrafast
e2e 21.572s(20.789〜23.844) 12.605s(11.286〜13.986) 4.275s(4.065〜4.786)
TTFT 16.314s 9.275s 3.091s
可視 tokens/s 82.27 125.68(n=4) 390.38
可視 tokens 387 366(n=4) 376
reasoning tokens 494 458(n=4) 431
公式単価の費用 $0.009200 $0.017550(n=4) $0.050940

gpt-6-astra(中央値、5 回)

指標 default fast ultrafast
e2e 21.136s(19.024〜23.895) 14.041s(11.947〜14.812) 4.704s(4.417〜6.448)
TTFT 15.799s 11.023s 3.344s
可視 tokens/s 77.97 132.05 359.82
可視 tokens 380 383 423
reasoning tokens 439 506 516
公式単価の費用 $0.043050 $0.093100 $0.279300

こちらでは e2e も TTFT も、default 比で約 4.5〜5.3 倍まで縮みました。Fast は 1.5〜1.8 倍程度です。公式の「トークン間隔」だけでなく、推論待ちそのものが Ultrafast では短くなっています。

2 モデルの e2e はかなり近く、差が出たのは料金です。同じ Ultrafast でも、税計算タスクの中央値は gpt-6.1-sol が $0.05094、gpt-6-astra が $0.27930 でした。

中身についても、usage を記録できた 29 件はすべて次の点で一致していました。

  • 提示した「100円で 110 にならない」は、この関数では成り立たない(tax_included([100], 0.10) は 110 を返す)
  • 本当に壊れるのは、0.10 を float で表せないことと、int() が四捨五入ではなく切り捨てなこと
  • 修正は合計に対する整数演算(+ 50) // 100 など)で、pytest を 2 つ付ける

失敗例の選び方([1]*10、[1, 4]、[5, 5, 5] など)は回ごとに違いますが、tier で正解が崩れる様子はありませんでした。

3. 料金は 6 倍か

公式の短コンテキスト単価は、次のとおりです(1M tokens あたり、入力 / 出力)。

モデル Standard Fast(2 倍) Ultrafast(6 倍)
gpt-6.1-sol $2 / $10 $4 / $20 $12 / $60
gpt-6-astra $10 / $50 $20 / $100 $60 / $300

1 リクエストの見積もり費用(中央値)を、default 比で見るとする。

タスク モデル default fast ultrafast ultrafast / default
短い障害初動 gpt-6.1-sol $0.001916(n=4) $0.004512(n=4) $0.013596 7.1 倍
短い障害初動 gpt-6-astra $0.008780 $0.021760 $0.070080 8.0 倍
税込計算の修正 gpt-6.1-sol $0.009200 $0.017550(n=4) $0.050940 5.5 倍
税込計算の修正 gpt-6-astra $0.043050 $0.093100 $0.279300 6.5 倍

公比からずれる主因は、回ごとの reasoning tokens の差です。短いタスクでは Ultrafast 側の reasoning 中央値が default より多く、費用比が 6 倍を超えました。トークン数が揃う条件は、次の effort=low で出ています。

4. reasoning を low にすると

gpt-6.1-sol に reasoning.effort="none" を指定すると、HTTP 400 で unsupported_value でした。対応値は low / medium / high / xhigh / max です。

そこで同じ短い障害初動を、low で default と ultrafast だけ追加で 3 回測りました。reasoning tokens は 3 回とも 0 でした。

指標 default(中央値、n=3) ultrafast(中央値、n=3) 比
e2e 5.038s(4.227〜5.363) 1.772s(1.748〜1.817) 約 2.8 倍
TTFT 1.864s 1.260s 約 1.5 倍
可視 tokens/s 38.48 428.08 約 11.1 倍
可視 tokens 116 / 106 / 112 112 / 110 / 129(各回の順) —
公式単価の費用 $0.001236 $0.007416 6.0 倍

推論が乗らないと、TTFT の差は小さくなり、残る e2e 差のほとんどは生成速度です。公式の説明に近い条件は、こちらです。一方で medium の長いタスクでは、Ultrafast は TTFT(推論待ち)もまとめて短くしていました。用途によって、効き方の内訳が違います。

まとめ

  • service_tier="ultrafast" は gpt-6.1-sol と gpt-6-astra で使え、指定どおりの tier が返った。gpt-6-luna に付けると、非ストリームは 400(Invalid service_tier argument)、ストリームは HTTP 200 のあと response.failed だった
  • 税込計算のような、reasoning が 430〜520 tokens あるタスクでは、e2e の中央値は default の約 21s から Ultrafast の約 4.3〜4.7s まで縮んだ(約 4.5〜5.0 倍)。TTFT も同程度に短い
  • 3 行の障害初動では e2e 差は 2.6〜3.4 倍で、絶対値は数秒。可視 tokens/s は約 8.4〜11.1 倍と大きく出るが、生成時間が短いので e2e にはそのまま乗らない
  • Fast は料金 2 倍の公式どおり、今回の中央値では default 比 1.5〜1.8 倍程度の短縮だった
  • 公式単価は Ultrafast が Standard の 6 倍。実測の 1 リクエスト費用はトークン数の差で 5.5〜8.0 倍、トークンが揃った effort=low ではちょうど 6.0 倍だった
  • 同じ Ultrafast でも、税計算タスクでは gpt-6.1-sol の方が gpt-6-astra より安い($0.05094 対 $0.27930)のに、e2e はほぼ同じだった
  • 今回は HTTP ストリーミングの単発リクエストだけを測っている。公式が推奨する WebSocket や、ツール呼び出しが続くエージェント用途は未計測

参考(いずれも OpenAI 公式):

なお、Flatkey でも gpt-6.1-sol と gpt-6-astra を呼び出せます。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?