Chat Completions APIで会話履歴を踏まえストリーミングで応答を得るAPIリクエスト

ライブラリインストール

pip install openai

ソースコード

import openai

response = openai.ChatCompletion.create(
    model="gpt-3.5-turbo",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Hello! I'm John."},
        {"role": "assistant", "content": "Hello John! How can I assist you today?"},
        {"role": "user", "content": "Do you know my name?"},
    ],
    stream=True
)

#print(response)
for chunk in response:
    choice = chunk["choices"][0]
    if choice["finish_reason"] is None:
        print(choice["delta"]["content"])

レスポンス（少しずつ表示されていく）

Yes
,
 you
 mentioned
 that
 your
 name
 is
 John
.
 How
 can
 I
 assist
 you
,
 John
?

解説

• messagesのところに会話の履歴を繋げていく
  • roleの意味
    • system
      • LLMの動作についての指示
    • user
      • ユーザー
    • assistant
      • AI（APIのレスポンス）
• streamパラメータをTrueとするとレスポンスがストリーミングレスポンスになる（少しずつ表示されていく）
  • 受け取り方がfor文での処理になる
  • ストリーミングレスポンスでなければ、print(response)で表示可能