Bedrock 推論パラメータ
『Bedrock の推論 API を使用する際、生成 AI モデルに渡すパラメータ』
モデル推論を実行するときは、推論パラメータを調整して、モデルのレスポンスに影響を与えることができます。
トップP
『出力されるトークンの確率の合計が、指定した値を超えるまでの上位のトークンを考慮して生成する』
- より確率の高いトークンに基づいた出力が得られます。
- トップPのPは、probability つまり 確率 です。
トップK
『生成されるトークンの候補を上位K個に制限する』
- モデルは確率の高いトークンの中から選択して出力を生成します。
- 機械学習では、個数のことをKと表現することが多いです。
温度
『モデルの生成におけるランダム性を制御するパラメータで、応答の多様性に影響する』
温度が高い
- より多様な、そして時には 予測不能な応答 が得られる可能性が高くなります。
- 創造的な回答が欲しいという場面で高く設定するとよいです。
温度が低い
- 決定論的な出力 が生成されます。
- 基本的に温度は低めに設定しておくとよいです。
- デフォルト値も低く設定されています。
ペナルティ
『生成されたテキスト内で、特定の単語やフレーズの繰り返しを抑制し、出力の多様性を向上させる』
以下のようなペナルティを設定することができます。
- レスポンスの長さ
- レスポンスで繰り返されるトークン
- レスポンス内のトークンの頻度
これらのペナルティを適切に設定することで、生成テキストの多様性を高め、繰り返しの少ない自然な文章を生成することが可能です。
停止シーケンス
『モデルが特定の文字列を生成した際に、そこで応答を終了させる』
このパラメータを設定することで、モデルは指定されたシーケンスを検出すると、それ以上のトークンを生成しなくなります。
ストップワード
- モデルが出力を終了させる際に使用する特定の単語やフレーズです。
- 指定されたストップワードに達すると、モデルはそこで生成を終了します。
例
- ユーザーが ストップワードである 「さようなら」 と入力した際に、
- チャットボットが 「ご利用ありがとうございました。」 と応答し、その後の会話を終了させる