背景
生成AIについて勉強する中で出てきた以下の用語について、こんがらがったので整理しました。論文やサイトによっても解釈が異なるようなので、随時修正していけたらと思います。
ファインチューニング（Fine-Tuning）
転移学習の一部。ファインチューニングは、既存の事前学習済みモデル（例えば、大規模なデータセットでトレーニングされたモデル）を特定のタスクやデータセットに適応させるプロセスです。事前学習モデルの重みを初期値として使用し、ターゲットタスクに合わせて追加のトレーニングを行います。
- 大規模データでの学習済みモデルを利用
- 少量のデータでも効果的なトレーニング
- 特定のタスクに最適化
転移学習（Transfer Learning）
転移学習は、あるタスクで学習した知識を別の関連するタスクに活用する手法です。一般的には、事前学習されたモデルを別のタスクへ適用する際に使われます。特にデータが少ないタスクに対して有効です。
- 一度学習した知識を他のタスクで再利用
- 新しいタスクでの学習を迅速化
- 関連する多様なタスクに適用可能
メタ学習（Meta-Learning）
メタ学習は「学習の学習」とも呼ばれ、モデルが新しいタスクを素早く習得する能力を向上させる手法です。主な目的は、モデルが少数のデータポイントからでも効果的に学習できるようにすることです。メタ学習の代表的なアルゴリズムには、MAML (Model-Agnostic Meta-Learning) などがあります。
- 新しいタスクに対して迅速に適応
- 少数のサンプルでの効果的な学習
- 複数のタスクでのパフォーマンス向上
RAG (Retrieval-Augmented Generation)
RAGは、生成モデルと検索モデルを組み合わせたアプローチです。検索モデルが外部知識ベースから関連情報を取得し、その情報を生成モデルが使用して回答を生成します。これにより、モデルが広範な知識を参照しながら具体的で情報豊富な出力を生成できます。
- 外部データソースから関連情報を取得
- 取得した情報を基に高品質なテキスト生成
- モデルの知識ベースを拡張可能
各手法のメリット・デメリットと適用例
| 手法 | 概要 | メリット | デメリット | 適用例 |
|---|---|---|---|---|
| ファインチューニング | 事前学習済みモデルを特定のタスクに適応させるプロセス。 | - 効率的なトレーニング - 少量データで効果的 - 高精度 |
- 適用には事前学習済みモデルが必要 - オーバーフィッティングのリスク |
NLP（自然言語処理）、画像認識 |
| 転移学習 | あるタスクで学習した知識を別のタスクに活用する手法。 | - 知識の再利用 - 新タスクでの迅速な学習 - 幅広い適用範囲 |
- 適用には関連性のあるタスクが必要 - 調整が必要 |
医療診断、異常検知、音声認識 |
| メタ学習 | モデルが新しいタスクを迅速に学習するための手法。 | - 高速適応 - 少数ショット学習 - 多様なタスクに対応 |
- トレーニングが複雑 - 初期コストが高い |
ロボット制御、画像分類、強化学習 |
| RAG | 検索モデルと生成モデルを組み合わせて情報豊富な出力を生成。 | - 広範な知識の参照 - 高品質なテキスト生成 - 知識の拡充 |
- 検索の品質に依存 - 実装が複雑 |
質問応答システム、カスタマーサポート |