APIレート制限
受付可能なリクエストを制限していること
gptのapiを叩きまくっていたら
429エラーが出てきました
too many request
429はtoo many requestということで、apiを叩きすぎているのが原因らしいです
もっと詳細に言えばクライアントがリクエストを投げすぎて、サーバーがそれにNoという信号を出してくる。
そのNo信号がhttpステータスコード429だということです
叩きすぎて制限を受けることをapiレート制限と言います
こう言ったapiレート制限は、apiを提供してくれているサービス(openaiやtwitterなど)にはついていてそれぞれドキュメントを参照しどのようなルール内で使用可能か調べておく必要があります
gpt内でのエラー理由
openaiとしてはリクエストされすぎたら、サービスが中断してしまうような負荷が生じてしまうため
ユーザーごとにリクエストの回数を定めています
1分間に何回まで(モデルによります)か許されているそうで、それを超えたら429というhttpステータスコードが表示されしばらく時間が経ってからでしたかリクエストを受け入れてくれません
しばらくとは言いましたが、体感10秒程度でした
gpt レート制限の定義方法
gptのレート制限は「rpm」と「tpm」の二つで判定されています
両者に共通するpmは(per minute)で、「1分あたりの~」ですね
「rはrequest」で「tはtoken」です。だいぶ覚えやすくなったと思います
要するに、1分あたりのリクエストとトークン(文字数)によってレート制限は定められているようです
レート制限でエラーになった場合はどうするか、レート制限はどのくらいリクエストしたらなるのかなどはリンク先に記載されていますので是非読んでみてください