はじめに
最近、LLMを活用したサービスが急増し、「プロンプトエンジニアリング」や「RAG（検索拡張生成）」という言葉が一般的になりました。しかし、これらを単に「AIへの上手な指示の出し方」や「外部知識の付加機能」としてのみ捉えていないでしょうか。エンジニアの視点、そして統計的な本質から見れば、これらの技術は非常に深い数学的根拠を持っています。それが「ベイズ推論（Bayesian Inference）」です。
自己教師あり学習（SSL）が生み出す「巨大な事前分布」
私たちが使用するLLMやVLM、そしてロボティクスのVLAモデルは、すべて自己教師あり学習（Self-Supervised Learning）を通じて誕生します。ラベルのない膨大なデータの中から、前後の文脈を見て正解を自ら導き出しながら学習します。この過程で、モデルは単に単語を暗記するのではなく、世界の万物がどのような確率的関係で結ばれているかという「巨大な事前分布（Global Prior）」を重み（Weights）の中に圧縮して格納します。
つまり、学習が終わったモデルは「世界はおよそこのような確率で回っている」という、非常に精緻で膨大な「先入観」を持った状態になります。ここで重要なのは、この事前分布を形成する唯一の材料が「文脈情報（Context）」であったという事実です。
プロンプトエンジニアリング：事前分布を狭める精緻な制約
プロンプトに「あなたはエクセルの専門家です」という役割を与えたり（Persona）、いくつかの例示を与えたりする（Few-shot）ことは、単なる命令ではありません。ベイズ的な観点で見れば、これはモデルが持つ無限の確率分布の中から、私たちが望む特定の領域へと分布を絞り込む「事前分布の制約（Prior Constraining）」のプロセスです。
モデルはコンテキストウィンドウ（Context Window）に入ってきたプロンプトを見て、「今は一般的な会話ではなく、専門家モードの確率分布を取り出すべきだ」と判断します。プロンプトを精緻に構成すべき理由は、モデルが持つ膨大な知識の中から「今この瞬間」に必要な最適の確率地図を正確に指し示すためなのです。
RAG：外部証拠によるリアルタイムな事後確率の更新
RAGはここからさらに一歩進んで、モデルに強力な「証拠（Evidence）」を注入します。モデルの重み内部にない最新情報や内部文書をコンテキストウィンドウに投入することは、モデルに対して「本来知っていた確率（Prior）よりも、今目の前にあるデータ（Likelihood）をより信頼して判断せよ」と要求することに他なりません。
結局、トランスフォーマーのコンテキストウィンドウは、リアルタイムでベイズ更新が行われる演算の場となります。外部データを文脈として取り入れることで、モデルはようやく自身の事前知識を現実のデータに合わせて補正し、最も正解に近い「事後確率（Posterior）」を導き出すことになります。これこそが、RAGを単なる「検索」ではなく「知能の補正」として捉えるべき理由です。
文脈（Context）こそが知能である
LLMにおいて文脈情報が最も重要である理由は明確です。自己教師あり学習で鍛えられたモデルの知能は、「文脈という証拠」に出会って初めて事後推論へとつながるからです。これはテキストモデルだけでなく、視覚と行動を結合したVLAモデルでも同様です。ロボットが現在の視覚情報を文脈として受け取り、次の行動を決定することもまた、刻々と入ってくるデータを基に自身の行動ポリシーをベイズ的に更新していく過程なのです。
私たちがプロンプトエンジニアリングとRAGを正しく活用するということは、モデルが持つ確率的な特性を理解し、「どのような文脈を注入すれば、モデルの事後分布が最も正確に形成されるか」を設計することに他なりません。
おわりに
AIモデルを単なる「賢い機械」として見るのではなく、「与えられた文脈に従って確率地図をリアルタイムで修正する推論エンジン」として捉えるとき、私たちは初めてこの道具を真に使いこなせるようになります。結局、文맥こそが知能です。私たちがコンテキストウィンドウに何を詰め込むかによって、AIの知能は想像以上に精緻にもなり、あるいは平凡なオウム返しにもなり得るのです。