ファインチューニング
『モデルがその分野に特化した高精度な応答』
ファインチューニングに適したデータセットの特徴として最も重要な点は、
- データが特定のタスクやユースケースに強く関連している
ことです。そのため、特定の業界や専門用語を多く含むユースケースで必要とされます。
過学習を回避する
バリデーションデータセット
バリデーションデータセットを使用して、モデルがトレーニングデータに特化しすぎず、 汎用的な性能 を維持できるようになります。
微調整するために、命令を追加する
インストラクションベースのファインチューニング
"プロンプトとレスポンスのペア" の追加の命令データセット を使用して行われる微調整の手法です。
このアプローチにより、モデルが特定の指示や命令に従って応答やタスクを遂行する能力を高めることができます。
ドメイン適応のファインチューニング
特定のドメインや業界に関連するデータを用いてモデルを微調整することができます。
ファインチューニングの実行中、最も優先してモニタリングすべきメトリック
- トレーニングデータ内でのモデル精度