公開されているレイテンシの数字は、他人のプロンプト、他人のリージョン、他人のネットワークで測ったものです。自分のコードが動く場所での数字が欲しかったので、OpenAI 互換または Anthropic ネイティブのストリーミングエンドポイントに数十件のリクエストを送り、最初のトークンまでの時間(TTFT)、全体のレイテンシ、出力速度、成功率をパーセンタイルで出す単一ファイルのスクリプトを書きました。
最初の版はモックサーバーに対するテストをすべて通りました。ところが実際のエンドポイントで動かすと、推論モデルの出力速度が約 2 倍に出ていました。この記事では、スクリプトの使い方と、そのバグから分かったことを書きます。
使い方
git clone https://github.com/amdmsz/llm-latency && cd llm-latency
export LLM_API_KEY=sk-...
# OpenAI 互換エンドポイント(Chat Completions)
python3 llm_latency.py --base-url https://api.openai.com/v1 --model gpt-6.1-sol -n 20
# Anthropic Messages API
python3 llm_latency.py --api anthropic --base-url https://api.anthropic.com --model claude-opus-5-5 -n 20
標準ライブラリだけで動きます(Python 3.9 以上)。出力はモデルごとに 1 行です。
model n success ttft p50 ttft p95 total p50 total p95 tok/s p50
--model を複数回指定すると、同じ条件で複数モデルを比較できます。--json と --csv でリクエストごとの結果を保存できます。1 件でも失敗すると終了コードが 0 以外になるので、デプロイ前のチェックや cron にも使えます。
| 列 | 意味 |
|---|---|
ttft |
リクエスト送信から最初の可視トークンまでの秒数。推論モデルでは思考時間を含む |
total |
ストリームが終わるまでの秒数 |
tok/s |
出力トークン数 ÷ 生成時間。~ が付いている場合はトークン数が推定値 |
success |
HTTP 2xx、可視トークンが 1 つ以上、ストリームが正常終了 |
バグ:トークン数と時計が対応していなかった
出力速度は「トークン数 ÷ 時間」です。最初の版では、トークン数はサーバーの usage から取り、時計は最初の可視トークンから動かしていました。
推論モデルでは、この 2 つが同じものを指していません。トークン数には思考トークンが含まれます。一方、時計は最初の可視トークンから始まるので、思考していた時間が入りません。つまり「全部のトークン」を「一部の時間」で割っていました。
実際のエンドポイントでは、あるモデルが約 290 トークン/秒、別のモデルが約 190 トークン/秒と表示されていました。修正後はそれぞれ 128 と 143 です。
直し方は API 形式によって違います。
-
OpenAI 形式:サーバーが
completion_tokens_details.reasoning_tokensを返す場合は、それを引きます。可視トークン数を可視ストリームの時間で割ります。 -
Anthropic Messages 形式:思考が完全に隠されることがあります。実際に取得したストリームには thinking ブロックがなく、
message_startと最初の text delta の間に空白があるだけでした。それでもoutput_tokensには思考分が含まれていました。そのため、速度の時計はmessage_startから動かします。
サーバーが推論を隠し、かつ別枠で報告もしない場合、出力速度は今でも高めに出ます。README にもそう書いてあります。
レイテンシの数字を狂わせる、ほかの 2 つ
平均値で報告する。 極端に遅い数件が平均を引っ張り、大半のリクエストの姿から離れます。同時に、遅いリクエストがどれだけ遅いかも分からなくなります。p50 と p95 を出すほうが実態に近くなります。
途中で切れたストリームを成功と数える。 HTTP 200 のまま終端なしで終わるストリームや、途中でエラーイベントが流れるストリームがあります。このスクリプトでは、2xx、可視トークン 1 つ以上、正常な終端([DONE] または message_stop)の 3 つがそろったものだけを成功とします。
何件送ればよいか
20 件あれば中央値は使えます。p95 は「いちばん遅かった 1 件」に近い値になりますが、問題の有無を見るには足ります。タイムアウトやアラートのしきい値に使う数字なら、実際のプロンプトと max_tokens で数百件は必要です。リクエストはすべてプロバイダーから課金されるので、既定値は小さくしてあります。
学んだこと
モックのテストで分かったのは「パースが動く」ことだけでした。測定そのものが間違っていることは分かりませんでした。モックも同じ誤った前提で書いていたからです。実際のリクエスト 20 件で、1 分ほどで見つかりました。
利害関係の開示
筆者は LLM API ゲートウェイ(byesu)の開発・運営に関わっています。このスクリプトはどのエンドポイントに対しても動き、特定のゲートウェイに依存する部分はありません。
- コードとテスト:https://github.com/amdmsz/llm-latency
- 手順をまとめた詳細版(英語):https://docs.byesu.com/en/articles/measure-llm-api-latency