LoginSignup
0
0

More than 3 years have passed since last update.

@EasyCording(グランプリのハゲタカ)

denseとかembeddingとかの違い

Last updated at Posted at 2020-12-09

DeepLearningを学んでいる。

ネットワークの中間層で、DENSEとかEMBEDDINGとか、いったい何が違うのか？
っていう話。

元ネタ
https://medium.com/logivan/neural-network-embedding-and-dense-layers-whats-the-difference-fa177c6d0304

語源

そもそも何の意味やねん？　　

  • DENSE　　　　《物理》高密度の　

  • EMBEDDING　　埋め込み、包埋　

違い

EMBEDDING　　変数にカテゴリカルを埋め込むときに使う

  • 入力サイズの縮小と計算の複雑さの軽減 →　学習時間の短縮
  • 重みWは、単純なルックアップテーブル
  • 欠点はバイアス、活性化関数のパラメータが不足
  • one-hot encodingのみに使用
  • 単語の埋め込みで広く利用　→　Word2vec

DENSE

  • 計算量が多いマトリクスの処理　→　処理が重たい
  • 重みWは、重み行列として考慮する

まとめ

要するに自然言語処理のONE HOTを受けるときに、
最初に使われるネットワークだということ

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
0
0