0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

LLMのコストをレスポンスヘッダーから読む — ゲートウェイの事業ケースをエンジニアから作る

0
Posted at

LLM の請求書は、たいてい月末に1つの数字として届きます。どの機能が、どのチームが、どの顧客が使ったのかは分かりません。これは経理の問題ではなく、計測の問題です。リクエストの経路にゲートウェイがなければ、リクエスト単位のコストはどこにも記録されません。帰属させるデータ自体が存在しないのです。

OpenAI 互換ゲートウェイを入れると、まず統合の形が変わります。エンドポイントとキーを差し替えるだけで、既存の SDK がそのまま動きます。そしてレスポンスには、完了結果と一緒に そのリクエストの確定コスト が返ってきます。nRouter では x-nr-request-cost ヘッダーに乗り、x-nr-cost-status が exact(価格が確定)か unpriced(不明)かを示します。不明な場合は $0 と偽らず、ヘッダー自体が欠落します。

この1ヘッダーが、事業ケース全体を支えます。資金提供を受けるゲートウェイのケースは、機能一覧ではなく4つの成果で作ります。

1. 総支出(Total spend)
nRouter の従量課金はプラットフォーム手数料 0% で、利用料はプロバイダーのリスト価格のまま精算されます(マークアップ 0%)。ガードレール、評価、A/B テスト、チーム別予算は全アカウントに含まれ、エンタープライズ tier の後ろに隠れていません。

2. リクエスト単価(Cost per request)
ヘッダーから読む単価です。機能別・顧客別に集計でき、「安いトラフィック」(分類、抽出、要約)が見えるので、品質基準を満たす最安モデルへのルーティングが勘ではなく計測で決められます。

3. 負荷時の性能(Performance under load)
プロバイダー障害時の自動フォールバックと、キー・チーム・組織単位の上限設定。リトライの暴走は 429 / 402 で止まり、請求書の事件にはなりません。平均ではなく p95 / p99 で報告します。

4. 開発速度(Developer speed)
全モデルに1つの OpenAI 互換キー。新モデルの採用は文字列の変更だけです。

正直な制限も書いておきます。ゲートウェイは1ホップであり、その可用性は自社の可用性の一部になります。BYOK はなく、プロバイダーと直接交渉した料金は引き継がれません。無料 tier はなく、評価はカードと実際の $5 の最低額から始まります。

事業ケースの全体像 — 1ページのメモの構成、4つの成果、出口の書き方まで — はこちらにまとめています。

Business case for an LLM gateway

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?