LoginSignup
42
39

More than 5 years have passed since last update.

@supersaiakujin(Masataka Ohashi)

[DL]SoftmaxとCross Entropyって何？

Last updated at Posted at 2016-02-15

式は簡単なんだけど、あれ？何だったかな？って忘れるので書き留めておく

Softmaxの目的

Score(logit)を確率(Probability)にする

Neural Networkで下のY=Wx+bのように、入力に対してWeightをかけてBiasを足して得られるYの値は、正から負まで何でもありなので、これをSoftmaxの式に入れると確率っぽくしてくれる。
確率は、
１． 値が正
２． 総和が１
にならないといけないので、値が正になるように指数関数に通して、総和が１になるように全部足したもので割って正規化する。

指数関数はこんな感じ（Wikipediaより）
193px-Exp.svg.png

Softmax.png

Cross Entropy

CrossEntropy.png

42
39
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
42
39