Bahdanau Attentionは、2014年にD. Bahdanau、K. Cho、Y. Bengioらの論文「Neural Machine Translation by Jointly Learning to Align and Translate」で提案された、注意機構（Attention Mechanism）の先駆けとなった手法です。特に機械翻訳の分野に大きな影響を与え、シーケンス・トゥ・シーケンス（Seq2Seq）モデルの性能を飛躍的に向上させました。また、その計算方法から「加算注意（Additive Attention）」とも呼ばれます。
Bahdanau Attentionとは？ 🤔
RNNの課題として、「入力系列全体を固定長のコンテキストベクトルに圧縮するため、長い系列では情報が失われやすい」という情報ボトルネック問題がありました。Bahdanau Attentionは、このボトルネックを解消するために導入されました。
従来のSeq2Seqモデルでは、エンコーダーが入力文全体をたった1つの固定長のベクトル（コンテキストベクトル）にまとめて、それをデコーダーに渡していました。しかし、Bahdanau Attentionでは、デコーダーが各出力ステップにおいて、入力系列のどの部分に「注意を向けるべきか」を動的に判断し、その情報を利用して次の単語を生成します。
例えるなら、
- 従来の機械翻訳モデルが「入力文を一度だけざっと読んで、その概要を頭に詰め込んでから翻訳を始める」ようなものだったのに対し、
- Bahdanau Attentionは「翻訳中の単語ごとに、元の文章のどこを参照すればいいかを瞬時に判断し、必要な部分を読み返しながら翻訳を進める」ようなイメージです。
これにより、デコーダーは常に元の入力の適切な部分を参照できるため、長い文章でも高い精度で翻訳が可能になりました。
Bahdanau Attentionの仕組み ⚙️
Bahdanau Attentionの主要なポイントは、デコーダーが次の単語を予測する際に、エンコーダーの各隠れ状態と、デコーダーの現在の隠れ状態との関連度（アライメントスコア）を計算する点にあります。
各時間ステップ $t$ におけるデコーダーの処理は以下のようになります。
-
デコーダーの現在の隠れ状態の取得 🧠
- デコーダーは、前の時間ステップの情報と、これまでの出力に基づいて、現在の隠れ状態 $s_t$ を生成します。
-
アライメントスコアの計算 🔢
- エンコーダーの各時間ステップ $j$ における隠れ状態 $h_j$ と、デコーダーの現在の隠れ状態 $s_t$ を使って、両者の**関連度（アライメントスコア $e_{tj}$）**を計算します。
- Bahdanau Attentionでは、このスコア計算に小さなフィードフォワードネットワークを使用します。これが「加算注意」と呼ばれる所以です。
- 具体的には、$s_t$ と $h_j$ を結合し、線形変換した後、活性化関数（tanhなど）を適用し、さらに別の重みベクトル $v_a$ とドット積を取ることでスカラー値のスコアを得ます。
- $$e_{tj} = v_a^T \tanh(W_a s_t + U_a h_j + b_a)$$
- $W_a, U_a, v_a, b_a$ は学習可能なパラメータです。
-
アライメント重みの正規化（ソフトマックス） ⚖️
- 計算された全てのアライメントスコア $e_{tj}$ を、ソフトマックス関数に通して正規化し、「注意の重み」$\alpha_{tj}$ を生成します。これらの重みの合計は1になります。
- 重み $\alpha_{tj}$ は、デコーダーが次の単語を生成する際に、エンコーダーのどの部分にどれだけ注意を向けるべきかを示します。
- $$\alpha_{tj} = \frac{\exp(e_{tj})}{\sum_{k=1}^{L_x} \exp(e_{tk})}$$
- $L_x$ は入力系列の長さです。
-
コンテキストベクトルの生成 🤝
- 計算された注意の重み $\alpha_{tj}$ を使って、エンコーダーの各隠れ状態 $h_j$ を重み付け平均します。これにより、デコーダーが「注意を向けた」情報が凝縮された「コンテキストベクトル」$c_t$ が生成されます。
- $$c_t = \sum_{j=1}^{L_x} \alpha_{tj} h_j$$
-
出力の予測 🗣️
- この生成されたコンテキストベクトル $c_t$ と、デコーダーの現在の隠れ状態 $s_t$ を結合し、次の単語の予測に利用します。
Bahdanau Attentionの利点 ✨
- 情報ボトルネックの解消: 固定長のコンテキストベクトルに頼らず、入力系列の全てのステップを参照できるようになったため、特に長い系列のデータ処理能力が大幅に向上しました。
- 長期依存関係の捕捉: 遠く離れた単語間の依存関係も効果的に学習できるようになりました。
- 解釈可能性: 各出力ステップでどの入力部分に注意が向けられたか（アライメント重み）を可視化できるため、モデルの判断をある程度解釈できるようになりました。これは、機械翻訳における「アライメント（単語対応付け）」の視覚化に役立ちます。
Bahdanau Attention vs. Luong Attention 🆚
Bahdanau Attentionの登場後、別の主要なAttention機構として「Luong Attention」（2015年）が提案されました。主な違いは以下の通りです。
| 特徴 | Bahdanau Attention（加算注意） | Luong Attention（乗算注意） |
|---|---|---|
| 計算方法 | フィードフォワードネットワークを使用 | **ドット積（内積）が一般的（または結合後の線形層） |
| クエリ | デコーダーの前の隠れ状態** $s_{t-1}$ を使用 (論文では) | デコーダーの現在の隠れ状態 $s_t$ を使用 |
| コンテキストベクトル | デコーダーの入力として結合される | デコーダーの隠れ状態と結合して次の出力に利用される |
| エンコーダー出力の利用 | エンコーダーの双方向RNNの隠れ状態の結合を利用することが多い | エンコーダーの最上位層の隠れ状態を利用することが多い |
Bahdanau Attentionの進化と影響 🚀
Bahdanau Attentionは、現代のディープラーニングにおける注意機構の概念の基礎を築きました。その後の多くのAttention機構（特にTransformerモデルのSelf-AttentionやMulti-Head Attention）も、類似の「関連度計算」「正規化」「重み付け和」というコアアイデアを共有しています。
機械翻訳の分野では、Bahdanau Attentionを組み込んだSeq2Seqモデルが従来のモデルを大きく上回る性能を達成し、Attention機構がディープラーニングのブレイクスルーとなる道を開きました。