Azure OpenAIリソースを使うことが多いんだけど、ちょっとOSSのプログラム試そうとすると、意外と対応してなかったりして、面倒なときがあります。本家openaiのみの対応だったり、Azure対応してるふりして実はコード内では全然だったり、Azureまわりはテストされてなかったり。

ということで、Azure OpenAIが使いにくければ、本家openaiっぽくつかえればいいんじゃない？ということで、LiteLLM Proxy Server (LLM Gateway)を使ってみたのでその備忘録です。

以下を参考にしました。
https://docs.litellm.ai/docs/proxy/docker_quick_start

環境

Windows
VSC
Python 3.10.11

環境はWindowsですが、VSCのターミナルでぽちぽち試している感じなので、linuxとかでもほぼ同じ感じで動くと思います。

LiteLLM Proxy Serverの設定

ライブラリをインストールします。venvの設定は割愛。

$ pip install 'litellm[proxy]'

config.yamlに以下を設定します。gpt-4o-miniという名前でデプロイしたモデルを設定しています。

model_list:
  - model_name: gpt-4o-mini
    litellm_params:
      model: azure/gpt-4o-mini
      api_base: "Azure openAIリソースのベースURLを設定"
      api_key: "Azure openAIリソースのAPIキーを設定"

コマンドラインで試す

コマンドラインで以下たたきます。うまくいかない場合は、改行を適宜削除してみるとよいです。

curl -X POST 'http://localhost:4000/chat/completions' \
-H 'Content-Type: application/json' \
-H 'Authorization: Bearer sk-1234' \
-d '{
    "model": "gpt-3.5-turbo",
    "messages": [
      {
        "role": "system",
        "content": "You are a helpful math tutor. Guide the user through the solution step by step."
      },
      {
        "role": "user",
        "content": "how can I solve 8x + 7 = -23"
      }
    ]
}'

以下のように、ちゃんと結果がかえってきます。英語できいてるから、英語でかえってきてますね。

 tutor. Guide the user through the solution step by step."      },      {        "role": "user",        "content": "how can I solve 8x + 7 = -23"      }    ]}'{"id":"chatcmpl-AZfSw8ZSiqJ6Khdv8Nnw7QLg06N7S","created":1733064238,"model":"gpt-4o-mini",
"object":"chat.completion","system_fingerprint":"fp_04751d0b65","choices":[{"finish_reason":"stop","index":0,"message":{"content":"To solve the equation \\( 8x + 7 = -23 \\), follow these steps:\n\n### Step 1: Isolate the term with the variable (8x)\nFirst, you want to 
get the term involving \\( x \\) by itself on one side. Start by subtracting \\( 7 \\) from both sides of the equation:\n\n\\[\n8x + 7 - 7 = -23 - 7\n\\]\n\nThis simplifies to:\n\n\\[\n8x = -30\n\\]\n\n### Step 2: Solve for \\( x \\)\nNext, you need to get \\( x \\) by 
itself. You do this by dividing both sides of the equation by \\( 8 \\):\n\n\\[\nx = \\frac{-30}{8}\n\\]\n\n### Step 3: Simplify the fraction\nYou can simplify the fraction \\( \\frac{-30}{8} \\) by dividing both the numerator and the denominator by the greatest common 
divisor, which is \\( 2 \\):\n\n\\[\nx = \\frac{-30 \\div 2}{8 \\div 2} = \\frac{-15}{4}\n\\]\n\n### Final Answer\nSo, the solution to the equation \\( 8x + 7 = -23 \\) is:\n\n\\[\nx = -\\frac{15}{4}\n\\]\n\nIf you prefer it as a decimal, you can also express it as:\n\n\\[\nx = -3.75\n\\] \n\nWould you like any further explanation on any of the steps?","role":"assistant","tool_calls":null,"function_call":null}}],"usage":{"completion_tokens":310,"prompt_tokens":41,"total_tokens":351,"completion_tokens_details":null,"prompt_tokens_details":null},"service_tier":null,"prompt_filter_results":[{"prompt_index":0,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"jailbreak":{"filtered":false,"detected":false},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}}}]}

pythonから呼び出す

openaiライブラリ経由で、本家っぽく呼び出してみます。

pip install openai==0.28

pythonプログラムは以下。

import openai

# Azure互換のAPIエンドポイントを指定
openai.api_base = "http://localhost:4000/v1"

# APIキーを設定
openai.api_key = "sk-1234"  # litellmで設定したキー。デフォルトがこれ。

# リクエストを送信
response = openai.ChatCompletion.create(
    model="gpt-4o-mini",  # litellmで指定したモデル名
    messages=[
        {
            "role": "system",
            "content": "You are a helpful math tutor. Guide the user through the solution step by step."
        },
        {
            "role": "user",
            "content": "次の数式はどのように解けばよい？ 8x + 7 = -23"
        }
    ]
)

# 結果を表示
print(response.choices[0].message["content"])

結果が以下のように出力されます。それっぽいものが出てきました。

数式 \( 8x + 7 = -23 \) を解くためには、まず \( x \) を孤立させるためにいくつかのステップ
を踏む必要があります。以下の手順に従って解いていきましょう。

### ステップ 1: 両辺から 7 を引く

方程式の両辺から 7 を引きます。この操作により、\( x \) の項を一方の辺に集めることができま 
す。

\[
8x + 7 - 7 = -23 - 7
\]

これを計算すると、

\[
8x = -30
\]

### ステップ 2: 両辺を 8 で割る

次に、\( x \) を単独にするために、両辺を 8 で割ります。

\[
\frac{8x}{8} = \frac{-30}{8}
\]

これを計算すると、

\[
x = -\frac{30}{8}
\]

### ステップ 3: 簡略化する

\( -\frac{30}{8} \) を約分します。30 と 8 は 2 で割れるので、

\[
x = -\frac{15}{4}
\]

### 結果

したがって、解は次のようになります。

\[
x = -\frac{15}{4}
\]

このようにして方程式を解くことができました。もし他に質問があれば教えてください！

これを使えば、どんなOSSも気楽に遊び倒せますね。
Azure openAIだけでなく、config.yamlでollamaで起動したLLMも指定できそうです。
便利！

以上