2
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

LLM API のレイテンシを自分で測るスクリプトを書いたら、最初の版は出力速度を 2 倍に見積もっていた

2
Posted at

公開されているレイテンシの数字は、他人のプロンプト、他人のリージョン、他人のネットワークで測ったものです。自分のコードが動く場所での数字が欲しかったので、OpenAI 互換または Anthropic ネイティブのストリーミングエンドポイントに数十件のリクエストを送り、最初のトークンまでの時間(TTFT)、全体のレイテンシ、出力速度、成功率をパーセンタイルで出す単一ファイルのスクリプトを書きました。

最初の版はモックサーバーに対するテストをすべて通りました。ところが実際のエンドポイントで動かすと、推論モデルの出力速度が約 2 倍に出ていました。この記事では、スクリプトの使い方と、そのバグから分かったことを書きます。

使い方

git clone https://github.com/amdmsz/llm-latency && cd llm-latency
export LLM_API_KEY=sk-...

# OpenAI 互換エンドポイント(Chat Completions)
python3 llm_latency.py --base-url https://api.openai.com/v1 --model gpt-6.1-sol -n 20

# Anthropic Messages API
python3 llm_latency.py --api anthropic --base-url https://api.anthropic.com --model claude-opus-5-5 -n 20

標準ライブラリだけで動きます(Python 3.9 以上)。出力はモデルごとに 1 行です。

model        n  success  ttft p50  ttft p95  total p50  total p95  tok/s p50

--model を複数回指定すると、同じ条件で複数モデルを比較できます。--json と --csv でリクエストごとの結果を保存できます。1 件でも失敗すると終了コードが 0 以外になるので、デプロイ前のチェックや cron にも使えます。

列 意味
ttft リクエスト送信から最初の可視トークンまでの秒数。推論モデルでは思考時間を含む
total ストリームが終わるまでの秒数
tok/s 出力トークン数 ÷ 生成時間。~ が付いている場合はトークン数が推定値
success HTTP 2xx、可視トークンが 1 つ以上、ストリームが正常終了

バグ:トークン数と時計が対応していなかった

出力速度は「トークン数 ÷ 時間」です。最初の版では、トークン数はサーバーの usage から取り、時計は最初の可視トークンから動かしていました。

推論モデルでは、この 2 つが同じものを指していません。トークン数には思考トークンが含まれます。一方、時計は最初の可視トークンから始まるので、思考していた時間が入りません。つまり「全部のトークン」を「一部の時間」で割っていました。

実際のエンドポイントでは、あるモデルが約 290 トークン/秒、別のモデルが約 190 トークン/秒と表示されていました。修正後はそれぞれ 128 と 143 です。

直し方は API 形式によって違います。

  • OpenAI 形式:サーバーが completion_tokens_details.reasoning_tokens を返す場合は、それを引きます。可視トークン数を可視ストリームの時間で割ります。
  • Anthropic Messages 形式:思考が完全に隠されることがあります。実際に取得したストリームには thinking ブロックがなく、message_start と最初の text delta の間に空白があるだけでした。それでも output_tokens には思考分が含まれていました。そのため、速度の時計は message_start から動かします。

サーバーが推論を隠し、かつ別枠で報告もしない場合、出力速度は今でも高めに出ます。README にもそう書いてあります。

レイテンシの数字を狂わせる、ほかの 2 つ

平均値で報告する。 極端に遅い数件が平均を引っ張り、大半のリクエストの姿から離れます。同時に、遅いリクエストがどれだけ遅いかも分からなくなります。p50 と p95 を出すほうが実態に近くなります。

途中で切れたストリームを成功と数える。 HTTP 200 のまま終端なしで終わるストリームや、途中でエラーイベントが流れるストリームがあります。このスクリプトでは、2xx、可視トークン 1 つ以上、正常な終端([DONE] または message_stop)の 3 つがそろったものだけを成功とします。

何件送ればよいか

20 件あれば中央値は使えます。p95 は「いちばん遅かった 1 件」に近い値になりますが、問題の有無を見るには足ります。タイムアウトやアラートのしきい値に使う数字なら、実際のプロンプトと max_tokens で数百件は必要です。リクエストはすべてプロバイダーから課金されるので、既定値は小さくしてあります。

学んだこと

モックのテストで分かったのは「パースが動く」ことだけでした。測定そのものが間違っていることは分かりませんでした。モックも同じ誤った前提で書いていたからです。実際のリクエスト 20 件で、1 分ほどで見つかりました。

利害関係の開示

筆者は LLM API ゲートウェイ(byesu)の開発・運営に関わっています。このスクリプトはどのエンドポイントに対しても動き、特定のゲートウェイに依存する部分はありません。

2
0
2

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
2
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?