概要

自己注意Self-Attention の解説でわかりやすいと思った記事N選　(N＝14）

の活用履歴を記す。

活用履歴

Word Enbeddingの具体的な様子を確認する[2021/05/15]

利用記事：（その６）の（YDC Labコラム）分かった気になる自然言語AIの仕組み

内容

Word Enbedding　で、特に、興味があったのが、「the」とか、「（関係代名詞の）which」とか、、、普通の単語でないものの値がどうなっているのか？
そもそもの疑問は、これらの値を掛け算して関連度を出してどうなるのか？という疑問ですが。
実際に利用したのは、この記事で引用されている、
GoogleのEmbedding Projectorという多次元データ視覚化ツール(2016年12月公開)
です。

↓　普通の単語の例

↓　the の例

文章のattentionのレイヤによる変化の様子を確認する[2021/05/15]

利用記事：（その１２）のThe Illustrated Transformer

内容

レイヤを重ねてattentionの様子が高度化する仕組みが理解できないので、そのattentionの様子を確認した。
記事内からリンクされているnotebookで、動的に確認できる。

↓　the が　animal にがちっとあたっている。

↓　レイヤ１では、後ろのit は、それほど、しっかり、animalに届いていない。

まとめ

特にありません。