0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

インコンテキスト学習

Posted at

インコンテキスト学習(In-Context Learning)とは、機械学習や自然言語処理(特に大規模言語モデル、たとえばChatGPTなど)において、明示的にモデルを再学習・再トレーニングすることなく、プロンプト(入力文)に例を与えるだけで新しいタスクに適応させる学習方法を指します。

具体的には、

  • モデルに対して「問題とその答え」の例をいくつか与え、
  • その流れに続いて新しい問題を提示すると、
  • モデルがその例に倣って新しい問題に対する答えを推測する
    という動作をします。

例えば、こんな感じです:

Q: 猫は英語で何と言いますか?
A: cat
Q: 犬は英語で何と言いますか?
A: dog
Q: 鳥は英語で何と言いますか?
A: 

このように例を入力することで、モデルは「日本語の動物名を英語に翻訳する」というタスクをその場で理解し、学習していないタスクでもそれらしく答えることができます。

ポイントは:

  • 学習パラメータを更新しない(あくまで入力内容だけで対応する)
  • 即時的にタスクを適応する
  • 例(コンテキスト)を工夫することで精度を高められる

です。


0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?