LibreChatでAzure AI Foundryでデプロイしたモデルを使う

Azure AI Foundryでデプロイしたモデルを、LibreChatで使う方法です。
（プレビュー機能を使いますので、実環境には向かないと思います）

環境

• LibreChat v0.7.7

Azure AI Foundryでモデルデプロイ

以下のような感じでデプロイさせました。
別プロジェクトでAOAIも表示されていますが、ここでは使用しません。
（ちなみに、AAIFでデプロイしたAOAIモデルもここで紹介する方法で使用可能です）

設定してみる

以下例では、Phiをcustom endpointとして追加しています。

librechat.yaml

endpoints:
  custom:
    - name: "Microsoft"
      baseURL: "${AZUREAIFOUNDRY_URL}"
      apiKey: "${AZUREAIFOUNDRY_KEY}"
      models:
        default: [
          # 以下にAAIFでデプロイしたモデルを入力する
          # 複数入力も可
          "Phi-4-mini-instruct",
          "Phi-4",
          "Phi-4-multimodal-instruct"
          ]
        fetch: false
      serverless: true
      titleConvo: true
      titleModel: "Phi-4-mini-instruct" 
      modelDisplayLabel: "Phi"
      headers:
        # ヘッダつけておかないと、エラーになります
        api-key: "${AZUREAIFOUNDRY_KEY}"
        Content-Type: "application/json"

.envに以下追加します。

.env

AZUREAIFOUNDRY_URL=(Azure AIモデル推論エンドポイント)
AZUREAIFOUNDRY_KEY=(APIキー)

できました。

きちんと応答してくれます。

最後に

デプロイ管理画面で、「エンドポイントの取得」から設定することもできますが、これだとモデル毎にエージェントを選択することになるので、あまりキレイではありません。
AAIFはAAIFでまとめなければいけないということもなく、modelsの内容を変えるだけで会社ごとにカテゴライズできます。

この記事が何かのお役に立てれば幸いです。