1. はじめに
ニューラルネットワークモデル構築に不可欠な"埋め込みベクトル"という概念。
何を埋めてんねん、と思っている私含めた初心者向けの記事となっています。
2. 本題
1. 埋め込みベクトルとは？
特徴量行列の各要素の関係をより詳細に表すために次元数を増やした行列です。
2. 具体例
ある物質1の特徴を下記のベクトルで表す時のことを考えます。
物質1の特徴量ベクトル = (原子番号1, 結合方式1, 電荷1)
今は次元数が3ですが、これを引き延ばして5にした時の埋め込みベクトルを考えます。
例えば下記のベクトルのようになります。
埋め込みベクトル = (e1, e2, e3, e4, e5)
e1: 原子の種類に強く関連
e2: 結合方式に強く関連
e3: 電荷に強く関連
e4: 原子の種類と結合方式の相互関係
e5: 結合方式と電荷の相互関係
このように、元のベクトルの次元を増やし、要素間の相互作用・非線形的な関係をきめ細やかに表すことができます。
ニューラルネットーワークにおける学習では、この埋め込み行列の生成時の設定値＝重みを学習しています。
3. おわりに
なるべく簡潔に書かせていただきましたが、分かりにくいところ、間違っているところ等あればご意見待ってます！