概要
以前、
自己注意Self-Attention の解説でわかりやすいと思った記事N選 (まだ、N＝4）
という記事を書いた。
記事を書いた理由は、たぶん、ViTとかの仕組みを理解したいと思い、その入り口としてAttentionに着目し、
記事でも書けば、理解が促進されるんだろうなと
思ったのだろうと想像する。
しかし、結果として、いま、自己注意Self-Attentionが全く何も頭のなかにない。
今の頭の中の理解（多分、間違えているが。。。）を示し、その後、正しい答えを整えようと思う。
自己注意Self-Attentionとは（←いまの記憶というか理解。間違っている可能性大。）
まず、attentionとは
これは、文章等で、語句と語句の関係性の強さのようなものを表現するもので、ある語句Aは、別の語句B、C、D、、、、と各々、どの程度の関係性があるのかを示すもの
というイメージかと思う。
では、Self-付きのAttentionとは
可能性１
ここでのSelfがわからないが。。。。
このAttentionは、翻訳とかの世界で成果を出している技術なので、例えば、入力と出力の文章を同一とし、学習させること。
この同一状態をSelfを呼ぶ。
（たぶん、学習というような説明はなかった記憶があるので、これは、たぶん、違う。）
可能性２
AttentionとSelf-Attentionは、同じ、意味で、
文章の意味を語句とその語句の関係性で、いったん、表現しなおす、
すなわち、ある文章の自己(Self)の構造をAttentionで表現する作業。これで、文章が語句の羅列から意味のあるデータ構造にかわる。
少し発展させて翻訳とかの分野のAttentionの学習のさせ方（←いまの記憶というか理解。間違っている可能性大。）
可能性１
上記のAttentionとしての構造の分析をともないつつ、
理想となる翻訳の対で学習する。
可能性２
（こちらのほうが恰好がいいが、）翻訳の対で学習することはなく、個別の言語で言語を意味を学習しきる。
あとは、アウトプットする言語を選ぶのみとする。
疑問（←いまの記憶というか理解。間違っている可能性大。）
語句の関係性だけでは、そのそものコアとなる意味が発生しないと思うが、、、
それはなくてもいいのか？？
そこは、言語だけの範囲でやっている場合、空洞化するものかも。。。
★★正解作成中
一旦、正解を作成するのを休止します。
以下とかをカンニングしましたが、、、激烈に難しいですね。。。。
素人の手には負えません。現在の理解は、０点。(2021/1/6)
しばし。。。。
もう少し簡単なサブセットの課題をこなします。
自己注意Self-Attention の解説でわかりやすいと思った記事N選 (まだ、N＝4）
まとめ
余興のような記事です。ご容赦。
頭に全然入っていなということは、刺激のない情報だったのだろうと想像します。
もしくは、理解が深まらなくて結果として刺激のない解釈になったのか。
追って、正解を勉強して記載します。