ChatGPT APIの各種パラメーターを指定して動作確認してみた。

はじめに

こんにちは、山田です。
今回は最近はまっているChatGPT APIの概要と各種パラメータを指定した際の挙動について記載していきます。
よろしくお願いします。

ChatGPT APIについて

ChatGPT APIは、OpenAIが提供する自然言語処理に基づくAPIの一つで、言語モデル「GPT-3.5」を使用して自然な対話を行うことが可能です
ChatGPTのAPIを利用することで以下のような機能を実装することが可能です。

・チャットボットの開発
・情報検索
・文書の生成
・プログラミングコード作成

ChatGPT API利用料金

利用料金に関しては、1000トークン当たり、$0.002になります。
トークンの数え方に関しては、英語の場合は1単語=1トークンになるのですが、日本語の場合はややこしくひらがなは1文字が1トークン以上、漢字だと1文字2,3トークンになるそうです。
実際に使用したトークン数に関しては、ChatGPT APIからのレスポンスの中に記載されています。

ChatGPT APIリクエスト例

ChatGPT APIのリクエスト例を記載します。

#モジュールをインポート
import openai

#API-KEYを設定
openai.api_key = os.environ['ChatGPT_API_KEY']

#関数を使用してChatGPTに問い合わせを送信
response_data = openai.ChatCompletion.create(

#モデル指定
model="gpt-3.5-turbo",

#ChatGPTに問い合わせるメッセージ
messages=[
 {"role": "system", "content":"あなたは犬です"},
{"role": "user", "content": "好きな食べ物は？" }
)

roleには以下のう表の3つの役割があります。

role名	詳細
system	ChatGPTの設定
user	ユーザーからの質問
assisant	ChatGPTからの回答

ChatGPT APIからのレスポンス

ChatGPT APIからのレスポンス例を以下に記載します。

{
    "choices": [
       
            "finish_reason": "stop",
            "index": 0,
            "message": {
                "content": "犬にとって人気のある食べ物としては肉、魚、チーズ、キャロットなどが挙げられます。",
                "role": "assistant"
            }
        }
    ],
    "created": 1678452478,
    "id": "chatcmpl-6sWS66bsUc5XJTFKRLu0KQVcZCfFh",
    "model": "gpt-3.5-turbo-0301",
    "object": "chat.completion",
    "usage": {
        "completion_tokens": 225,
        "prompt_tokens": 31,
        "total_tokens": 256
    }
}

contentの部分が、ChatGPTからの回答になります。また、total_tokensが今回の質問・回答で使用したトークン数になります。

各パラメータについて

ChatGPT APIで使用できる各種パラメーターの詳細は以下の通りです。

パラメータ名	詳細
model	gpt-3.5-turboを指定
message	文脈を生成するためのメッセージ
n	回答の数。3を指定すれば3つの回答を得られる。
stop	トークンの生成を停止する文字列
max_tokens	生成されるレスポンスのトークンの最大数
frequency_penalty	-2.0 から 2.0 の間の数値を指定。値が低い場合、生成された文章に既に含まれている単語やフレーズが強調されすぎて、文章の多様性が低下する可能性がある。値が髙い場合、生成された文章が同じ単語やフレーズを繰り返すことが少なくなり、より多様な文章を生成することができる。
temperature	サンプリング温度を 0〜1 の間で指定します。高いサンプリング温度では、出現確率が均一化され、より多様な文章が生成される傾向がある。一方、低いサンプリング温度では、出現確率の高い単語が優先され、より一定の傾向を持った文章が生成される傾向がある。
logit_bias	トークンの生成確率を調整するために、各トークンに対してlogit_biasを設定することができる。正の値を持つトークンは出現確率が上がり、負の値を持つトークンは出現確率が下がる。logit_bias = {'トークンID': 2.0, 'トークンID': -1.5, 'トークンID': 1.0}

各種パラメータを指定した際の動作について

各種のパラメータを指定した場合どのような挙動になるか記載していきます。
今回はラインと連携したLamdaを使用して動作の確認をしていきます。

stop

stopパラメータを指定します。

#モジュールをインポート
import openai

#API-KEYを設定
openai.api_key = os.environ['ChatGPT_API_KEY']

#関数を使用してChatGPTに問い合わせを送信
response_data = openai.ChatCompletion.create(

#モデル指定
model="gpt-3.5-turbo",

#stopパラメータ指定
stop = 'ワン',

#ChatGPTに問い合わせるメッセージ
messages=[
 {"role": "system", "content":"あなたは犬です"},
{"role": "user", "content": "好きな食べ物は？" }
)

「ワンと回答して」と質問しても回答が得られず、「にゃーと回答して」と質問すると回答を得られています。

max_tokens

max_tokensパラメータを指定します。

#モジュールをインポート
import openai

#API-KEYを設定
openai.api_key = os.environ['ChatGPT_API_KEY']

#関数を使用してChatGPTに問い合わせを送信
response_data = openai.ChatCompletion.create(

#モデル指定
model="gpt-3.5-turbo",

#max_tokensパラメータ指定
max_tokens = 5,

#ChatGPTに問い合わせるメッセージ
messages=[
 {"role": "system", "content":"あなたは犬です"},
{"role": "user", "content": "好きな食べ物は？" }
)

max_tokens=5を指定すると以下の様に途中で回答が切れるのが確認できます。

frequency_penalty

frequency_penaltyパラメータを指定します。

#モジュールをインポート
import openai

#API-KEYを設定
openai.api_key = os.environ['ChatGPT_API_KEY']

#関数を使用してChatGPTに問い合わせを送信
response_data = openai.ChatCompletion.create(

#モデル指定
model="gpt-3.5-turbo",

#frequency_penaltyパラメータ指定
frequency_penalty = -2,

#ChatGPTに問い合わせるメッセージ
messages=[
 {"role": "system", "content":"あなたは犬です"},
{"role": "user", "content": "好きな食べ物は？" }
)

とんでもないことになります、気を付けましょう。

temperature

temperatureパラメータを指定します。

#モジュールをインポート
import openai

#API-KEYを設定
openai.api_key = os.environ['ChatGPT_API_KEY']

#関数を使用してChatGPTに問い合わせを送信
response_data = openai.ChatCompletion.create(

#モデル指定
model="gpt-3.5-turbo",

#temperatureパラメータ指定
temperature = 0,

#ChatGPTに問い合わせるメッセージ
messages=[
 {"role": "system", "content":"あなたは犬です"},
{"role": "user", "content": "好きな食べ物は？" }
)

temperature=0に指定すると、一定の傾向をもった文章が生成されることが確認できます。

logit_bias

logit_biasパラメータを指定します。

#モジュールをインポート
import openai

#API-KEYを設定
openai.api_key = os.environ['ChatGPT_API_KEY']

#関数を使用してChatGPTに問い合わせを送信
response_data = openai.ChatCompletion.create(

#モデル指定
model="gpt-3.5-turbo",

#logit_biasパラメータ指定
logit_bias = {96096:20},

#ChatGPTに問い合わせるメッセージ
messages=[
 {"role": "system", "content":"あなたは犬です"},
{"role": "user", "content": "好きな食べ物は？" }
)

logit_bias = {96096:20},の部分に関しては、文字列を指定するのではなくトークンIDを指定する必要があります。
トークンIDを調べる方法は以下の通りです。

tiktokenパッケージインストール

pip install tiktoken

以下の様に記載して実行すればトークンIDを取得できます。

import tiktoken
from tiktoken.core import Encoding

encoding: Encoding = tiktoken.encoding_for_model("gpt-3.5-turbo")
tokens = encoding.encode(' Dolphin')
print(tokens)

今回は Dolphinという単語のトークンIDを調べています。

[96096]

調べたトークンIDを基に、logit_biasを設定します。
logit_bias = {96096:20}と記載すればおおよそ出現確率が5倍になります。
以下の様に回答の中に Dolphinが連発しています。

終わりに

今回はChatGPT APIの概要と各種パラメーターのついて記載しました。
もう少しで「GPT-4.0」が発表になるそうなので、楽しみにしています。
最後まで拝見いただきありがとうございました。