コンテキストウィンドウ

『モデルが一度に受け入れることができるトークンの数』

トークン数が多いほど、長いテキストを生成することができます。

トークン数の制限

生成されるテキストの長さは、トークン数の制限によって制御されます。

要約や長文の生成を行う際には、このトークン数の制限を超えると、入力の一部が無視される可能性があるため、コンテキストウィンドウのサイズを考慮して適切なモデルを選択する必要があります。

利用料金

トークンは利用料金に直結するので（入力トークン、出力トークンともに）、費用の制限に”トークン数の制限”を活用できます。