概要
自己注意Self-Attention の解説でわかりやすいと思った記事N選 (N＝14）
の活用履歴を記す。
活用履歴
Word Enbeddingの具体的な様子を確認する[2021/05/15]
利用記事：（その６）の（YDC Labコラム）分かった気になる自然言語AIの仕組み
内容
Word Enbedding で、特に、興味があったのが、「the」とか、「（関係代名詞の）which」とか、、、普通の単語でないものの値がどうなっているのか？
そもそもの疑問は、これらの値を掛け算して関連度を出してどうなるのか？という疑問ですが。
実際に利用したのは、この記事で引用されている、
GoogleのEmbedding Projectorという多次元データ視覚化ツール(2016年12月公開)
です。
↓ 普通の単語の例
↓ the の例
文章のattentionのレイヤによる変化の様子を確認する[2021/05/15]
利用記事：（その１２）のThe Illustrated Transformer
内容
レイヤを重ねてattentionの様子が高度化する仕組みが理解できないので、そのattentionの様子を確認した。
記事内からリンクされているnotebookで、動的に確認できる。
↓ the が animal にがちっとあたっている。
↓ レイヤ１では、後ろのit は、それほど、しっかり、animalに届いていない。
まとめ
特にありません。