自社サービスサイトで発生した Rate limits
最新LLMを試したり、複数のLLMをおまとめして生成できる Playground的 サービスサイト （登録不要・無料です）の運用に携わっていますが、
さきほど Anthropic の Claude3-Haiku への同時リクエストが 7req/s を超えたあたりで、
Error code: 429 - {'type': 'error', 'error': {'type': 'rate_limit_error', 'message': 'Number of concurrent connections has exceeded your rate limit. Please try again later or contact sales at https://www.anthropic.com/contact-sales to discuss your options for a rate limit increase.'}}
が発生
わお、 Rate Limit だ😲
あわてて、APIの契約をみたら、
そっか。
いちばん下のレベルの Tier だったか。
Anthropic Claude3 の Tier 1 の Rate limit は１分間に50 なので、無意識にそれを秒間50リクエストと勘違いしておりましたが、
秒間スパイクで 7req/sec くらいのリミットなんですねー。
リミットあげるにはプランをアップグレードが必要だけど、クリックだけでできるわけではなく Anthropic さんにフォームで依頼が必要なので、
さて、どうするか相談だ🤔
ちなみに、 Build Tier 2 では、Rate limit はイッキに20倍になるようなので、当面安心できそう。
