コンテキストエンジニアリングを理解する『真の』第一歩：AIの内部構造を紐解く
はじめに
前回の記事では、対話で直面する 「コンテキスト汚染」や「コンテキストの断片化」 といった具体的な課題を考察しました。
本記事では、これらの課題の根本原因であるAIの内部構造を、技術的な観点から解説します。この内部構造の理解は、AIを効率的に利用するためのコンテキストエンジニアリングの設計思想を確立する上で不可欠です。
1. AIの認識プロセスの歴史
AIが人間の言葉を理解する能力は、技術の進化とともに飛躍的に向上してきました。この歴史は、AIがどのようにして「文脈」を認識するようになったかという課題を巡る物語でもあります。
- BoW（Bag of Words）: AIの言語理解の初期段階では、テキストを単語の出現回数だけで捉える方法が主流でした。この方法では、「犬が猫を追いかけた」と「猫が犬を追いかけた」は同じ単語を含むため、同じように扱われていました。単語の順番や文法といった重要な情報が完全に無視されていたのです。
- RNN（Recurrent Neural Network）: この問題を解決するため、単語を一つずつ順番に処理するRNNが登場しました。これにより、AIは単語の順序から文脈を理解する能力を獲得しましたが、長文になると前の情報を忘れてしまう 「長期記憶の問題」 を抱えていました。
- Transformer: この課題を根本的に解決したのが、Transformerです。このモデルは、アテンションという革新的な仕組みを導入することで、単語間の関連性を一度に、すべて計算できるようになりました。これにより、AIは長文の文脈全体を正確に捉えることが可能になり、「Bank」（銀行・土手）のような多義語の意味も文脈から正確に判断できるようになりました。Transformerの登場は、自然言語処理に飛躍的な革新をもたらしたのです。
この歴史的背景を理解することは、現代のAIがどのようにして私たちの言葉を認識し、処理しているかを深く理解するための出発点となります。
2. AIの認識プロセス
AIの認識は、人間が理解するテキストを、AIが計算可能な形式へと変換することから始まります。このプロセスは、以下の3つのステップに分けられます。
2.1 トークナイザの役割
トークナイザは、プロンプトとして与えられたテキストを、AIが処理できる最小単位であるトークンへと分割します。
2.2 埋め込み（Embedding）の役割
埋め込みは、トークナイザによって分割されたトークンを、AIが処理できる高次元のベクトルに変換するプロセスです。これは、単語が持つ意味情報をAIが扱える数値の言語に翻訳する出発点となります。2025年現在、その次元数は数千にも及びます。AIは、この埋め込みによって単語や文が持つ複雑な関係性や類似性を捉えることができます。
- 誤情報によるコンテキスト汚染: プロンプトに含まれる事実と異なる情報は、埋め込みというプロセスによって 「意味のある」情報 として処理されます。この時点で、AIの認識するベクトル空間は既に汚染されているのです。
2.3 エンコーダの役割
エンコーダは、埋め込みによって生成されたベクトルを入力として受け取り、Transformerモデルの中でアテンションやフィードフォワードネットワークを駆使して、より深い文脈や意味を抽出・強化する役割を担います。これは、 「埋め込み」が言葉を数値化する出発点であるのに対し、「エンコーダ」はその数値から深い意味を読み解く「AIの目」 のようなものです。
3. Transformerモデルとコンテキストエンジニアリングの設計思想
AIが入力された情報を処理し、人間のような応答を生成するために、ほとんどの最新モデルの基盤となっているTransformerアーキテクチャが用いられます。このモデルは、これまでに解説したプロセス（トークナイザ、埋め込み）によって生成されたベクトルを入力として受け取り、それを洗練された文脈情報へと変換する役割を担います。
3.1 アテンションの役割
アテンションは、Transformerモデルの中核をなす仕組みです。入力内の各トークンが、他のどのトークンと関連性が高いかを計算し、重み付けを行います。これにより、AIは文脈から単語の意味を正確に区別できるようになります。例えば、「私は川岸にあるbankに行った」という文章では、「川岸」と「bank」の関連性が高いと判断し、「bank」が「銀行」ではなく「土手」を意味すると認識します。
3.2 ポジショナルエンコーディングの役割
AIは、RNNのように単語を順番に処理するのではなく、並列に処理することで計算速度を飛躍的に向上させました。しかし、この方法では単語の順序という重要な情報が失われてしまいます。ポジショナルエンコーディングは、この問題を解決するために考案された仕組みです。各トークンにその位置を特定する特別な情報を付加することで、AIは単語の並びや文の構造を正確に把握することができます。
3.3 フィードフォワードネットワークの役割
フィードフォワードネットワークは、アテンションが収集した関連性情報を受け取り、更なる関連を想定する推測エンジンとして機能します。これは、情報が層を重ねて処理されるたびに、より複雑な意味や概念へと深化させていくプロセスです。
3.4 自己回帰の機能と影響
AIは、自身の出力を次の入力として再利用する自己回帰という再帰的なメカニズムを持ちます。これにより、AIは一貫性をもって文章を生成し、タスクのパフォーマンスを向上させます。しかし、一度の出力で不正確な情報が混入すると、その情報が次の入力として再利用され、コンテキスト汚染が連鎖的に拡大するリスクが潜んでいます。
4. 進化する認識能力
最新のAIモデルでは、徐々にテキストに加えて画像データを直接認識できるものも生まれ始めています。更に画像の認識能力自体も進化を続けています。
4.1 マルチモーダル化
画像を認識出来る様になったという事実は、それまで点字で世界を把握していたAIがまるで視覚を得たかのような飛躍です。これにより、単に『これは犬です』と答えるだけでなく、画像全体の文脈、意図、そして感情までも、テキストとシームレスに融合させて理解します。
4.2 聴覚とAIの現状
音声入力は、AIが音を直接処理するものではありません。現状のAIにとって、聴覚は音声認識技術という外部ツールによって隠蔽された入力に過ぎません。このプロセスは、AIとは別のシステムに依存しており、声のトーンや感情といった非言語情報が失われ、情報の欠落や歪みが発生する可能性があります。
結論
AIが何を認識できて、何が認識できないか、そしてどのように文を認識しているのかを知ることは、コンテキストにおける誤解をなくすために非常に重要な知識となります。
この知識は、次回に解説するベクトル空間という概念で紹介してきたベクトルデータベースを知る上で必須の前提知識です。