はじめに
GPTなどの言語モデルで文章生成を行う際に使用されるtemperatureパラメータについて調べました。
temperatureパラメータとは
生成されるテキストの多様性を制御するパラメータ。
詳細
GPTや他の多くの言語モデルは、次に来る単語を予測するために確率分布を使用しており、各単語には次に来ると予測される確率が割り当てられている。
この確率分布は一般的にはピークがある(一部の単語のみが確率が高くなる)形状をしている。
temperatureパラメータはこの確率分布を調整している。
- temperatureが高い場合
- 各単語の出力確率分布がフラットになり、全ての単語の選ばれる確率が等しくなる ⇒生成されるテキストはより多様性があり、予測が難しい
- Temperatureが低い場合
- 一部の単語が選ばれる確率が高くなる ⇒生成されるテキストは一貫性があり、予測が簡単になる
temperatureの使用例
高いtemperature (多様性が高く予測困難)
新しいアイデアやクリエイティブな結果が必要な場面で役立つ
- 創作物(小説、詩、映画の脚本など)
- ブレインストーミングやアイデア生成
低いtemperature (一貫性が高く予測可能)
予測可能で一貫性のある結果が必要な場面で役立つ
- 法的/規則に関連する文書生成
- 教科書や学術的な記事の生成