○単語をベクトルに直す
→単語の意味を詳しく表すために
○そのベクトルの平均を取る
→その単語すべてを含めるとどんな意味なのかを推測するため。つまり、文脈の意味を推察するため
○ベクトルの平均を取ったものと、予測される単語の内積をかける（予測される単語とは、20万くらいある単語のすべてのベクトル）
→ベクトルとベクトルの内積とは、それぞれのベクトルの「距離」を表すものである。（cosθに絶対値をかけている）
→つまり、内積を取ることで文脈と特定の単語の意味の「差」を知れる
○ここからsoftmax関数で確率に戻す
→活性化関数とは与えられた数値を分類しやすいようにできる関数のこと。
→中でもsoftmaxは出力した数値を確率に戻せる
Register as a new user and use Qiita more conveniently
- You get articles that match your needs
- You can efficiently read back useful information
- You can use dark theme