0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

障害時の挙動まで書いてあるか — LLMゲートウェイのドキュメントの読み方

0
Posted at

LLMゲートウェイのドキュメントを読むとき、多くの人はQuick Startと料金ページで止まります。しかし本番運用で効いてくるのは、障害時の挙動がどこまで明記されているかです。nRouterのドキュメントを例に、確認すべきポイントを整理します。

まずフォールバックの契約です。nrouter_fallbacksには1〜4件のフォールバック先を指定でき、発動条件は429、503、Anthropicの529、接続失敗と明記されています。1リクエストあたりのプロバイダー呼び出しは最大3回までで、クレジット予約は1件にまとまります。「自動でフェイルオーバーします」という一文ではなく、条件・上限・予約単位まで書かれているかが見極めどころです。

次にテレメトリです。すべてのレスポンスにx-nr-routing(direct、または発動したフォールバック)、x-nr-model、x-nr-attempts、x-nr-request-cost、x-nr-cost-statusが返ります。コストが未確定の場合はunpricedとされ、コストヘッダーは0ではなく「不在」になります。この設計により、下流の集計コードが静かに壊れることを防げます。

SDKの表記も正直です。Python(nrouter-sdk)とTypeScript(@nrouter_ai/sdk)は公開済み。Go、Rust、Java、Kotlin、Android、Swift、Dart/Flutter、Rはpreviewと明記されています。既存のOpenAIクライアントはドロップインとしてそのまま使え、cURLの例も揃っています。

さらに、チャット補完・エンベディング・管理エンドポイントの完全なAPIリファレンス、ルーティング、ガードレール、予算、仮想キー、可観測性のガイド、OpenRouterとPortkeyからの移行ガイドまでが1つのハブにまとまっています。

ドキュメントは主張ではなく契約です。読む側もそのつもりで臨むと、選定の精度が上がります。全体はnRouter Docsで公開されています。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?