この記事は個人的なお勉強用のメモです。
講義
NN 機械翻訳の問題点
長さに弱い。
理由
・翻訳元の文の内容をひとつのベクトルで表現
・文長と翻訳精度の関係性
資料の 2 つのグラフからわかるとおり、
Encoder-Decoder モデルの方が 統計的機械翻訳モデルよりも
BLEU スコアが低い。
Attention（注意機構）
概要
翻訳先の各単語を選択する際に、翻訳元の文中の各単語の
隠れ状態を利用
重みをすべて足すと 1
例
h1 は重めに
h2 は軽めに
これにより、翻訳元と翻訳先とで単語ごとに注意を払う。
文中のある単語の意味を理解する時に、文中の単語のどれに注目すれば良いかを表すスコアのこと。
仕組み
- Query
入力。検索したいクエリ - Key
Key の中から似た文章を検索
正規化されたベクトルを出力 - Value
正規化されたベクトルを文章にする
Key Value Attension とも。
Transformer
概要
- Seq2seq と同じく、Encoder-Decoder モデル
- RNN を使わない（使うのは Attension のみ）
- 並列化しやすい
構造
Encoder と Decoder
Encoder 側
- Input Embedding
- Positional Encoding（1. 単語ベクトルに単語の位置を追加）
- Encoder
- Multi-Head Attention（2. 複数のヘッドで行う Dot Product Attention、Self-Attention）
- Add & Norm
- Feed Forward（3. 単語の位置ごとに独立処理する全結合）
- Add & Norm
Decoder 側
- Output Embedding
- Positional Encoding
- Decoder
- Masked Multi-Head Attention（4. 未来の単語を見ないようマスク）
- Add & Norm
- Multi-Head Attention
- Add & Norm
- Feed Forward
- Add & Norm
- Linear
- Softmax
Attention の種類
Source Target Attention（ソース・ターゲット注意機構）
Query：Target
Key：Source
Value：Source
Self-Attention（自己注意機構）
Query：Source
Key：Source
Value：Source
「バナナ」「が」「好き」
単語間の注意を求める。
Position-Wise Feed-Forward Networks（PFFN）
位置情報を保持したまま、順伝播させる。
Scaled dot product attention
全単語に関する Attention をまとめて計算する。
Attention(Q,K,V)=softmax \Biggl(\frac{QK^T}{\sqrt{d_k}} \Biggr)V
※ $Q,K,V$ が式のどこに位置するかに注意。
※ $\sqrt{d_k}$ で割る理由は、割らない場合にソフトマックス関数の勾配が小さくなってしまうため。
\begin{align}
Q・K^T&=
\begin{pmatrix}
q_1\\
q_2\\
q_3\\
\end{pmatrix}
\begin{pmatrix}
k_1 k_2 k_3
\end{pmatrix}
\\
&=
\begin{pmatrix}
q_1 k_1 & q_1 k_2 & q_1 k_3\\
q_2 k_1 & q_2 k_2 & q_2 k_3\\
q_3 k_1 & q_3 k_2 & q_3 k_3\\
\end{pmatrix}
\end{align}
\begin{align}
Attention(Q,K,V)
&=softmax(QK^T)・ V \\
&=
\begin{pmatrix}
0.1 & 0.2 & 0.7\\
0.4 & 0.3 & 0.3\\
0.8 & 0.1 & 0.1
\end{pmatrix}
\begin{pmatrix}
v_1\\
v_2\\
v_3\\
\end{pmatrix}
\\
&=
\begin{pmatrix}
0.1v_1 + 0.2v_2 + 0.7v_3\\
0.4v_1 + 0.3v_2 + 0.3v_3\\
0.8v_1 + 0.1v_2 + 0.1v_3\\
\end{pmatrix}
\end{align}
Multi-Head Attention
重みパラメータの異なる8個のヘッドを使用
Decoder
- 6 層（Encoderと同じ）
- 自己注意機構とソース・ターゲット注意機構の両方
- 自己注意機構の key と value はエンコーダから、query はデコーダから。
Add & Norm
Add：Residual Connection
入出力の差分を学習
実装上は出力に入力をそのまま加算するだけ
効果：学習・テストエラーの低減
Norm：Layer Normalization
平均 0、分散 1 に正則化
効果：学習の高速化
Positional Encoding
単語列の語順情報を追加
$\sin$ と $\cos$ を利用（0～1の範囲）
PE_{(pos,2i)}=\sin\Biggl(\frac{pos}{10000^{2i/512}}\Biggr)\\
PE_{(pos,2i+1)}=\cos\Biggl(\frac{pos}{10000^{2i/512}}\Biggr)\\
※ かっこの中は同じ。違いは $\sin$ と $\cos$ のみ。
実装演習
「自分の」は正しいが、それ以降は微妙な翻訳。
こちらは BLEU の評価。
いいのか悪いのか判断しづらい。