1
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

nRouter Playgroundの設計:サンドボックスではなく本番そのもの

1
Posted at

nRouterのPlaygroundガイドは、ブラウザでモデルを試すためのドキュメントです。中心にある設計判断は1つだけですが、それが全体を決めています。Playgroundはサンドボックスではありません。

本番パリティ

ガイドには、Playgroundの呼び出しが POST /v1/chat/completions に対して「production parity」で実行されると書かれています。つまり、アプリケーションが呼ぶのと同じ本番エンドポイントです。

帰結は具体的です。

  • 呼び出しは本番と同じRPM / TPMの割り当てを消費する
  • レート制限、キーごとの予算、コンテンツガードレールが本番API呼び出しとまったく同じに適用される
  • 仮想キーに予算上限を設定すると、上限到達後に呼び出しは402(insufficient_quota)で失敗する
  • レイテンシはLogsに記録され、各呼び出しは x-nr-request-cost と x-nr-request-id のヘッダーで精算される

テスト環境で学んだことが本番で裏切られる、という事故が構造的に起きにくくなります。

キーはタブの中だけ

ワークフローは、仮想キーを貼り、モデルを選び、ブラウザでチャットする、というものです。キーはsessionStorageにのみ保持され、タブを閉じると消去されます。評価用の資格情報がブラウザに残り続けることがありません。

パラメータとステータス

ガイドの表にあるパラメータは4つです。

  • temperature:0.0〜2.0(0.0で決定的、1.0でバランス)
  • max_completion_tokens:生成トークンの上限
  • top_p:0.0〜1.0(核サンプリングのカットオフ)
  • system:ベースラインのシステムプロンプト

よくある応答も明記されています。401 invalid_api_key、402 insufficient_quota、429 rate_limit_exceeded、400 guardrail_blocked。原因が名前で返るのは、地味ですが実務では効きます。

コードへの橋渡し

会話が期待通りに動いたら、View CodeでcURL、Python、Node.js、クライアントSDK向けの実行可能なスニペットを生成できます。テストした会話が、そのまま実装の出発点になります。

公式ガイド: https://nrouter.ai/docs/guides/playground

1
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?