はじめに
OpenAIのAPIのパラメータやAzure OpenAIのプレイグラウンドでよく目にする「Top P」と「Temperature」の違いについて、簡単に理解したのでメモとして残す。
詳しい理論などについてはこの記事では触れない。
Top PとTemperatureの違い。
以下の図は、横軸にモデルの出力（回答候補）を、縦軸にその出力候補が正しい確率を表示している。
Top P
Top Pは出力の確率が高い順にソートした際の、上位何％までの出力を回答候補として考慮するかを定めるパラメータである。
Top Pの値を低く設定すると、選ばれる回答候補が少なくなり、結果として出力の回答が一貫性を持つようになる。
Temperature
Temperatureはモデルが出力する確率分布の形を調節するパラメータである。
Temperatureの値を低く設定すると、出力間の確率の差が大きくなり、逆に値を高く設定すると、出力間の確率の差が小さくなる。
ゆえに、Temperatureの値を低くすることで、高い確率の出力が選ばれやすくなり、回答の一貫性が高まる。