自社サービスサイトで発生した Rate limits

最新LLMを試したり、複数のLLMをおまとめして生成できる Playground的サービスサイト（登録不要・無料です）の運用に携わっていますが、
さきほど Anthropic の Claude3-Haiku への同時リクエストが 7req/s を超えたあたりで、

Error code: 429 - {'type': 'error', 'error': {'type': 'rate_limit_error', 'message': 'Number of concurrent connections has exceeded your rate limit. Please try again later or contact sales at https://www.anthropic.com/contact-sales to discuss your options for a rate limit increase.'}}

が発生

わお、 Rate Limit だ😲

あわてて、APIの契約をみたら、

そっか。
いちばん下のレベルの Tier だったか。

Anthropic Claude3 の Tier 1 の Rate limit は１分間に50 なので、無意識にそれを秒間50リクエストと勘違いしておりましたが、
秒間スパイクで 7req/sec くらいのリミットなんですねー。

リミットあげるにはプランをアップグレードが必要だけど、クリックだけでできるわけではなく Anthropic さんにフォームで依頼が必要なので、

さて、どうするか相談だ🤔

ちなみに、 Build Tier 2 では、Rate limit はイッキに20倍になるようなので、当面安心できそう。