はじめてのアドベントカレンダーAdvent Calendar 2024

ChatGPTをどう使う？『ノー勉』『教科書持込』『予習バッチリ』で理解する3手法

Last updated at 2024-12-15Posted at 2024-12-14

はじめに

　ChatGPTのような大規模言語モデル LLM を専門的なドメインのタスクに適用する際には、主に通常利用、RAG、ファインチューニングの3つの方法があります。これらは、モデルを「専門性の高いテストを受ける、一般的なことを幅広く知ってる優秀な学生」になぞらえると理解しやすくなります。

→ 「頭のいい学生がノー勉で専門的なテストを受けるイメージ」

　モデルは幅広い知識を持っているものの、専門的なドメインに特化した事前準備はありません。訓練済みの一般知識に頼り、その場で最善の回答を出します。

→ 「頭のいい学生が教科書持ち込み可だけどノー勉で専門的なテストを受けるイメージ」

　モデルは自前の知識だけでなく、外部の情報源（教科書）をその都度参照できます。これにより曖昧な部分も正確に補完し、信頼度の高い回答を導くことが可能になります。

→ 「頭のいい学生がテスト前に教科書をしっかり読んで勉強をしてから専門的なテストを受けるイメージ」

　モデルを専門的なドメイン合わせて追加学習し、その分野に特化した知識を獲得させます。その結果、より的確で専門的な回答が可能となります。

　これらの比喩で、3つの手法の特徴が明確になります。