LoginSignup
0
0

More than 1 year has passed since last update.

Chat GPT APIレート制限とは

Last updated at Posted at 2023-05-02

APIレート制限

受付可能なリクエストを制限していること

gptのapiを叩きまくっていたら
スクリーンショット 2023-05-01 12.44.17.png
429エラーが出てきました

too many request

429はtoo many requestということで、apiを叩きすぎているのが原因らしいです

もっと詳細に言えばクライアントがリクエストを投げすぎて、サーバーがそれにNoという信号を出してくる。
そのNo信号がhttpステータスコード429だということです

叩きすぎて制限を受けることをapiレート制限と言います

こう言ったapiレート制限は、apiを提供してくれているサービス(openaiやtwitterなど)にはついていてそれぞれドキュメントを参照しどのようなルール内で使用可能か調べておく必要があります

gpt内でのエラー理由

openaiとしてはリクエストされすぎたら、サービスが中断してしまうような負荷が生じてしまうため
ユーザーごとにリクエストの回数を定めています

1分間に何回まで(モデルによります)か許されているそうで、それを超えたら429というhttpステータスコードが表示されしばらく時間が経ってからでしたかリクエストを受け入れてくれません
しばらくとは言いましたが、体感10秒程度でした

gpt レート制限の定義方法

gptのレート制限は「rpm」と「tpm」の二つで判定されています
両者に共通するpmは(per minute)で、「1分あたりの~」ですね
「rはrequest」で「tはtoken」です。だいぶ覚えやすくなったと思います

要するに、1分あたりのリクエストとトークン(文字数)によってレート制限は定められているようです

レート制限でエラーになった場合はどうするか、レート制限はどのくらいリクエストしたらなるのかなどはリンク先に記載されていますので是非読んでみてください

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0