[Dify]ローカル(or セルフホスティング)でもAPIキーのロードバランシングしたい！

OpenAIのAPIキーのレートリミットに引っかかってしまったことはありませんか？
私はしばしばあります。
さらに言うとDifyの社内展開や、プロダクト展開をしようとしている人たちはもっと感じていることだと思います。

そんな人に朗報です。
Dify0.6.10のバージョンからAPIキーのLoadbalancingの機能が入りました！

簡単に言うとAPIキーをいっぱい登録することでAPIのリクエスト制限をガンガン回避できるってことよ

早速使ってみよう！！！

...クリックできない。
基本はDifyCloud用のプランということだろうか？

なので今回はそれを解決する方法を教えます。

解決するには？

原因

以下のファイルを見てみると

api/config.py

        # Model Load Balancing Configurations.
        self.MODEL_LB_ENABLED = get_bool_env('MODEL_LB_ENABLED')

MODEL_LB_ENABLEDを設定するところがあります。
デフォルトではfalseになっているのでこれをtrueにしてあげないとロードバランサーは有効にできないようです。

解決策

docker-compose.ymlのapiとworkerに以下を足してあげよう。

 MODEL_LB_ENABLED: "true"

ロードバランサーの設定

1. まずConfig Load Balancingをクリック
   

2. Load balancingをクリックし、Add ConfigでAPIキーを追加
   

3. 追加されました！
   

最後に以下のようにLoadBalancingになっていることを確認して終わりです

最後に

これは修正されるかもしれないので時間の問題ですね！