概要

自己注意Self-Attention の解説でわかりやすいと思った記事N選　(まだ、N＝9）

の記事※で、Youtube（英語）を聞いていて、（基本、わたしく、リスニングができないので、）字幕をテキストに落として、それを読み上げツールに読ませリスニングの練習をしようとしている。

※記事の中の、
BERT Research - Ep. 5 - Inner Workings II - Self-Attention(ChrisMcCormickAI,Youtube)　
関連。

例えば、以下（程度の）英文のリスニングができない。

When you're trying to understand a new algorithm your first step is usually to do some research to try to find what kind of sources and tutorials and papers are out there on the subjects.

この文章だけを、読み上げツールで、何度も何度も読み上げさせてリスニングし、過学習してみる。

読み上げツールは、二種類のもの(AとB)を使ってみる。A、Bは別途明示する。

予定の段取りは、以下。
Aで100回。 <-- Step1-1
Bで100回。 <-- Step1-2
Aで200回。 <-- Step2-1
Bで200回。 <-- Step2-2
Aで400回。 <-- Step3-1
Bで400回。 <-- Step3-2
Aで800回。 <-- Step4-1
Bで800回。
Aで1600回。。。　＜－－このあたりから、症状をみて、次の対応を考える。

ちょっと、おバカ系の記事になってますが。。。。細かいことは、気にせず。

上記が終わったら、Attention is all you needの以下の文章もトライする。

The third is the path length between long-range dependencies in the network. Learning long-range dependencies is a key challenge in many sequence transduction tasks. One key factor affecting the ability to learn such dependencies is the length of the paths forward and backward signals have to traverse in the network. The shorter these paths between any combination of positions in the input and output sequences, the easier it is to learn long-range dependencies.

こっちの文章も、
予定の段取りは、以下。

Aで100回。 <-- 2nd-Step1-1
Bで100回。 <-- 2nd-Step1-2
Aで200回。 <-- 2nd-Step2-1
Bで200回。
Aで400回。
Bで400回。
Aで800回。
Bで800回。
Aで1600回。。。　＜－－このあたりから、症状をみて、次の対応を考える。

上記が終わったら、更に、

An attention function can be described as mapping a query and a set of key-value pairs to an output, where the query, keys, values, and output are all vectors. The output is computed as a weighted sum of the values, where the weight assigned to each value is computed by a compatibility function of the query with the corresponding key.

こっちの文章も、
予定の段取りは、以下。

Aで100回。 <-- 3rd-Step1-1
Bで100回。 <-- 3rd-Step1-2
Aで200回。 <-- 3rd-Step2-1
Bで200回。 <-- 3rd-Step2-2
Aで400回。 <-- 3rd-Step3-1
Bで400回。
Aで800回。
Bで800回。
Aで1600回。。。　＜－－このあたりから、症状をみて、次の対応を考える。

読み上げツール

読み上げツールA

お薦めです。アバターというのか、読んでる人の様子が見れます。

読み上げツールB

一種類のツールに頼らない意味で、これも、必要。（ツールAとは、雰囲気が違う、ので意味あり。）
たまに、動かなくなることがある。再度アクセスし直せば問題なし。
連続動作が遅い。Loadingに時間がかかる。

リスニング後の様子

（今後、記載します。テーマは、過学習です。）

Step1-1(2021/02/28)

気づいたこと。

全然、聞き取れない。それは、いいとして。
subjectsが、「ツ」終わりでなく「サブジェク」「ス」に聞こえる。これは、結構、しんどい。
「to find」がdefineとかに聞こえる。
「papers」がpeopleか何かに聞こえる。

Step1-2(2021/02/28)

気づいたこと。

1.「are out there」が厳しい。rとoutがつながるので、「ラウト」的に聞こえる。実際、そうなってるんでしょう。
2. subjectsが、「ツ」終わりでなく「サブジェク」「ス」に聞こえる。[再掲]
3. 「sources and tutorials and papers」で、tutorialsが目立って、そうすると、papersが頭に、全く、入らない。
4.「is usually to do some research to try」で、「to do some research」でおなか一杯で、更に、to tryとつながれても、意識できない。
5. 文章の意味は、とれない。

Step2-1(2021/03/05)

気づいたこと。

1.「When you're 」みたいな始まりで、「文」の構成が成立するのを意識するのが難しい。
2. 「・・・algorithm your first・・」のyourが、聞き取りがたい。
3. 「what kind of sources and」で、「what kind of 」の次の単語を聞き取る習慣がある程度、できた。。
4.「what kind of sources and tutorials and papers 」で、「and」つなぎが聞きなれてきた(★学習）。。

Step2-2(2021/03/07)

気づいたこと。

1.　Playとか押して、その数を数えているが、、、数えるタイミングを統一しないと、1回聞いて2カウントする可能性あり。
2. 動詞と目的語の対を意識すると、だいぶ、文章が頭に入る。
3. 最後の「papers are out there on the subjects.」のare outは、ラウトと聞こえて、これはそれでいいのだが、なんとも、areを期待すると厳しい。ここだけが、今、厳しい

Step3-1(2021/03/11,tool-A Julie(US))

気づいたこと。

1.　聞きはじめは、全く、０点レベル。ツールAが難しい？？
2. 「動詞と目的語の対を意識すると、だいぶ、文章が頭に入る。」と前回書いたがそんな気分にはならなかった。
3. 「・・・you're trying to understand・・」とかのtryingとかのingを聞くというよりは、タイミングを聞く感じかな？と理解した。
　　　　こちらのツールでは、「・・・papers are out there on・・」のthereとかもほとんど聞き取れないが、これもタイミングを聞く感じか。
4. usuallyとかsameとかに頭が引っ張られないように意識したが、なかなか、うまくはいっていない。
5. ★終盤に突然(ちょっと、変に大きな音で）「new!!」が響いた　。過学習というよりは、学習か。
6. research to tryの流れも、なんか、途中から聞けるようになった。
7. ★「your」がなんとなく聞けるようになった。
8. ★全体というか、文章の構造はあんまり頭に入らない、あいかわらず。
9. to find がdefineみたいに聞こえることがたまにまだある。
10. 変なタイミングで「is」が聞こえることがある。過学習か！。多分、ちがう。。。

Step3-2(2021/03/19,tool-B)

気づいたこと。

1.　あまり意味は、頭に入らない。音が聞こえるだけ。
　　　※この文章、意味が薄いのかも。。。
2. 「When you're trying to・・」等の始めを少し意識して聞いた。
3. what kind of は、日本人は聞きやすい。（ワタシだけかも。。）

リスニング後の様子(2nd)

まだ、1stが終わってないが、2ndの文書も聞き始めた。

2nd-Step1-1(2021/03/31)

気づいたこと。

全然、聞き取れない。読める知っている単語も、音だけだと、それだとわからない！
『・・・is the length of the・・・』のlengthが、ほぼ、聞き取れない。
2ndは、文法が、多少、難しい部分あり。

2nd-Step1-2(2021/04/1)

気づいたこと。

the easier it is to learn long-range dependencies. って、「the easier it is 」で、一回、切るんだろうか、話し方としては？？？
One key factor affecting the ability to learn such dependencies is の「is」の登場を捕まえるヒアリング力がない。
combination 日本語と発音違うな。。。
in the network 2か所あるけど、聞けてないかな。。。
あまり聞き取れないが、それにしても、（この文章は会話文でないにしても、）この文でわかるように、文の構成は、「This is a pen.」的な単純なものは、多くないことがわかる。

2nd-Step2-1(2021/04/03)

気づいたこと。

lengthは、レン、としか聞こえない。グスが聞こえません。
Lengthは、重要な単語なので、実際の会話では、ちょっと、強調されるのかもしれない。
ofは、全く、聞こえない。length of the paths、combination of positions。
単語-単語の並びがあることに気づいた？。path length、sequence transduction tasks。
backwardのバックの破裂音？が強い！。あと、何度が出るが、最後のdependencies　のdenのNが強く感じる場合あり。
abilityで、enableが頭に浮かんだことがあった。記憶領域が近いのか？ (学習関連。）
突然、pathが目立った（学習）。しかも、パスでなくて、パースなんですね。
文字を見ながら聞くのと、見ずに聞くのを両方やるべき
なんか、「the」のノリが少し感じられるようになった( 学習）。

リスニング後の様子(3rd)

まだ、1st、2ndが終わってないが、3rdの文書も聞き始めた。

3rd-Step1-1(2021/04/10)

気づいたこと。

「compatibility function of the query with the corresponding key」のあたりの対応は、よくわからない。ヒアリングとしてでなく、英語として。また、ここは、そもそも、言語関係なく内容が難しいので、一旦、無視？
「where the weight assigned」のwhere the のつながりも意外と少ないので聞けないのと、、、また、weight assigned の　assign の「a」が聞こえません。

3rd-Step1-2(2021/04/10)

気づいたこと。(3rd-Step1-1より先にこっちを。。）

**意外と、「An attention」が、ものすごく、聞きづらい。**In the、、、ぐらいの感じに聞こえる。
**「compatibility」が、一つの文ぐらい、長ったらしく聞こえる。**一瞬で消える単語もあるのに、、、
このbilityとかの、技術的というか、そう言った単語は、ゆっくりになるのかな。。。

3rd-Step2-1(2021/04/10)

気づいたこと。

「function of the query 」のof the あたりの聞き取りは、難しい。かなり。
「The output」のtheが、「り」と聞こえ始めた。なぜか。過学習か？
「An attention」のAnは、厳しい。アナテンションと諦めると楽か？？
「a query and a set of key-value pairs」のa set ofのあたりが厳しい。
weight assigned とかが、ウェザー　サインド　（意味不明）みたいに聞こえる。
音だけだと、聞き取れるポイントが０みたいな感じになる。厳しい。can be describedぐらいかな。。。

3rd-Step2-2(2021/04/14)

気づいたこと。

★ちょっと、別のことをしながら聞いてみた。意外にいいかも。意識の動く部分が違って。
「The output」のtheが、「り」と、今日はあまり感じなかった。「-2」のツールのせい？。
map ・・・ to のように、mapと聞いて、その後出てくるであろうto を待つみたいな聞き方は、重要かも。
ヒアリングは、100mを走るのを練習して、15秒を12秒にするノリではなく、15秒を15ミリ秒にするノリのはずで、ヒアリングの速さが、間に合うとか間に合わないとか、、、そんな微妙なレベルも一部あるだろうが、、、認知のルートが構成されないと、、、さすがに、間に合うわけないと思った。
いまだに、「An attention」が、聞き苦しい。

3rd-Step3-1(2021/05/06)

気づいたこと。

An attentionを、つなげて、アナテンションと呼んだとしても、「アナ」という単語や、「アナテンション」という単語は、有名なものはないので、「アテンション」が第一候補になるのかな。。。

3rd-Step3-2(2021/05/08)

気づいたこと。

「 to each value is 」のisが「with」と聞こえる場合あり。別の場所のwithの過学習か！たぶん、違う。
「-2」側、つまりツールB側の「An attention」が、 nが、ザとかダとかに聞こえる気がする。
文章の構造をつかまえる契機は、なんだろう。「is」とかも、その要素か？？
文章の構造が把握できない的なコメントを書いているが、、、「主語」がきて、その後の「動詞」を待つ（か、主語が終わったことを認識するか）。また次の文章で、同じことを繰り返す的な聞き方が、常識的なやり方という気がしてきた、ひらめいた。
論文の文章を引用しているので、話言葉としては、文章の構造が緻密すぎると、、、いま、気づいた。たぶん、緻密すぎる。
「by a」が良く聞こえた。
as を　is と誤って聞いている場合あり。
単語にフォーカスする聞き方はありかも。意外と聞き取りにくいcomputedにフォーカスしたら聞きやすくなった。
each value is computed のisは、消えますね。。。消えるのか混ざるのか。。。

補足

過学習は、どういう症状を想定しているのか、自分でもわからなくなっているが、恐らく、別の文章を聞いても、この文章が頭に浮かぶこと、だと思う。

不明点

以下が不明。

文章の構造をつかまえる上でのキーは何か？「is」とかもその要素の一つか？それとも、個々の単語の意味から捕まえるのか？

まとめ

特にありません。