Luong Attentionは、2015年にMinh-Thang Luongらの論文「Effective Approaches to Attention-based Neural Machine Translation」で提案された注意機構です。先行するBahdanau Attentionと同様に機械翻訳の性能を大きく向上させましたが、その計算方法やアーキテクチャ統合の点でいくつかの異なるアプローチを取っています。特にその計算方法から「乗算注意（Multiplicative Attention）」とも呼ばれ、シンプルさと効率性で広く利用されています。
Luong Attentionとは？ 🤔
Luong Attentionは、デコーダーが次の単語を生成する際に、エンコーダーの出力（ソース文の各単語表現）の中から、**最も関連性の高い部分に「注意を向ける」**ことで、翻訳の精度を高める仕組みです。
Bahdanau Attentionが「加算注意（Additive Attention）」として知られるのに対し、Luong Attentionは主に「乗算注意（Multiplicative Attention）」と呼ばれる手法を採用しています。これは、アライメントスコアの計算方法に由来します。
例えるなら、
- Bahdanau Attentionが、デコーダーの状態とエンコーダーの各部分を「足し合わせて」から関連度を評価するのに対し、
- Luong Attentionは、デコーダーの状態とエンコーダーの各部分を「掛け合わせる」ことで、より直接的に関連度を評価するようなイメージです。
Luong Attentionの仕組み ⚙️
Luong AttentionもBahdanau Attentionと同様に、アライメントスコアの計算、重みの正規化、コンテキストベクトルの生成という基本的なステップを踏みますが、いくつか重要な違いがあります。
各時間ステップ $t$ におけるデコーダーの処理は以下のようになります。
-
デコーダーの現在の隠れ状態の取得 🧠
- デコーダーは、前の時間ステップの情報と、これまでの出力に基づいて、現在の隠れ状態 $h_t$ を生成します。
- 重要な違い: Bahdanau Attentionがデコーダーの「前の」隠れ状態 $s_{t-1}$ を使うことが多かったのに対し、Luong Attentionはデコーダーの「現在の」隠れ状態 $h_t$ をクエリとして使用します。
-
アライメントスコアの計算 🔢
- エンコーダーの各時間ステップ $j$ における隠れ状態 $\bar{h}_j$ と、デコーダーの現在の隠れ状態 $h_t$ を使って、両者の**関連度（アライメントスコア $score(h_t, \bar{h}_j)$）**を計算します。
- Luong Attentionでは、スコア計算のためにいくつかの「アライメント関数」が提案されています。
-
Dot (ドット積): 最もシンプルで、計算効率が良いです。エンコーダーとデコーダーの隠れ状態の次元が同じ場合に直接ドット積を取ります。
$$score(h_t, \bar{h}_j) = h_t^T \bar{h}_j$$ -
General (一般): エンコーダーとデコーダーの隠れ状態の次元が異なる場合でも対応できるよう、間に重み行列 $W_a$ を挟んで線形変換を行います。
$$score(h_t, \bar{h}_j) = h_t^T W_a \bar{h}_j$$ -
Concat (結合): Bahdanau Attentionのように、両者を結合して線形変換し、活性化関数を通す方法です。これも「加算注意」の範疇に入りますが、Luongの論文でも言及されています。
$$score(h_t, \bar{h}_j) = v_a^T \tanh(W_a [h_t; \bar{h}_j])$$
-
Dot (ドット積): 最もシンプルで、計算効率が良いです。エンコーダーとデコーダーの隠れ状態の次元が同じ場合に直接ドット積を取ります。
-
アライメント重みの正規化（ソフトマックス） ⚖️
- 計算された全てのアライメントスコアをソフトマックス関数に通して正規化し、「注意の重み」$\alpha_{tj}$ を生成します。
- $$\alpha_{tj} = \frac{\exp(score(h_t, \bar{h}j))}{\sum{k=1}^{L_x} \exp(score(h_t, \bar{h}_k))}$$
-
コンテキストベクトルの生成 🤝
- 計算された注意の重み $\alpha_{tj}$ を使って、エンコーダーの各隠れ状態 $\bar{h}_j$ を重み付け平均します。これにより、デコーダーが「注意を向けた」情報が凝縮された「コンテキストベクトル」$c_t$ が生成されます。
- $$c_t = \sum_{j=1}^{L_x} \alpha_{tj} \bar{h}_j$$
-
最終的な出力の予測 🗣️
- このコンテキストベクトル $c_t$ とデコーダーの現在の隠れ状態 $h_t$ を結合（concatenation）し、さらに線形変換と活性化関数（$\tanh$ など）を通すことで、次の単語予測のための「アテンションベクトル」$\tilde{h}_t$ を生成します。
- $$\tilde{h}_t = \tanh(W_c [c_t; h_t])$$
- この $\tilde{h}_t$ を使って、最終的な出力単語の確率分布を計算します。
Luong Attentionの利点 ✨
- シンプルさと効率性: 特に「Dot」アライメント関数は計算が非常にシンプルで、効率的です。
- 柔軟なアライメント関数: Dot, General, Concatなど、複数のアライメント関数を選択できる柔軟性があります。
- エンコーダーの出力利用: エンコーダーの最終層の隠れ状態を利用することが多く、アーキテクチャの統合が比較的直感的です。
- 性能向上: Bahdanau Attentionと同様に、Seq2Seqモデルの性能を大幅に向上させました。
Bahdanau Attention vs. Luong Attention 🆚
再掲しますが、主要な違いを整理します。
| 特徴 | Bahdanau Attention（加算注意） | Luong Attention（乗算注意） |
|---|---|---|
| 計算方法 | フィードフォワードネットワークを使用 | **ドット積（内積）が一般的（Generalも含む） |
| クエリ | デコーダーの前の隠れ状態** $s_{t-1}$ を使用 (論文では) | デコーダーの現在の隠れ状態 $h_t$ を使用 |
| コンテキストベクトル | デコーダーの入力として直接利用される | デコーダーの隠れ状態と結合して最終出力に利用される |
| エンコーダー出力の利用 | エンコーダーの双方向RNNの隠れ状態の結合を利用することが多い | エンコーダーの最上位層の隠れ状態を利用することが多い |
Luong Attentionは、そのシンプルさと有効性から、多くのAttention-based Seq2Seqモデルで広く採用され、その後のTransformerモデルにおけるAttention機構の発展にも影響を与えました。