概要
以下の記事などで示しているように、単なる興味で、論文「Attention Is All You Need」を理解しようとしている。
Attention Is All You Need の 『Attention』を、段階を踏んで、理解する手段
第一段階の目標として、
query,key,value に慣れる |
|---|
を設定していたが、
いまさらのように、ちょっと、気づいたことがあるので、記事にする。
Query, Key, Valueは、Query, Query, Queryぐらいの解釈でも問題ない(と思う。)
本来のQuery, Key, Valueとは
本来のQuery, Key, Valueとは、以下の論文等にあるように、
Key-Valueのペアを利用して、Queryに対応するValueを得る（上手く検索したりする）ものだと思う。
https://arxiv.org/pdf/1606.03126.pdf
Key-Value Memory Networks for Directly Reading Documents
attentionのQuery, Key, Valueとは
全然、違う！
何が違うとかというと、
- 準備されたkey-valueのペアがあるわけではない。
とにかく、全然、違う。
keyとvalueの値が同じ特殊形と考えることができるのか？？？
参考
以下の記事などは、参考になるかも。
この記事は、粛々と説明がされている。
「What exactly are keys, queries, and values in attention mechanisms?」
結論
Attention Is All You Need のQuery, Key, Valueは、Query, Query, Query ぐらいの解釈でも問題ない(と思う。)
まとめ
特にありません。