More than 5 years have passed since last update.

[DL]SoftmaxとCross Entropyって何？

DeepLearning

Last updated at 2016-03-23Posted at 2016-02-15

式は簡単なんだけど、あれ？何だったかな？って忘れるので書き留めておく

Softmaxの目的

Score(logit)を確率(Probability)にする

Neural Networkで下のY=Wx+bのように、入力に対してWeightをかけてBiasを足して得られるYの値は、正から負まで何でもありなので、これをSoftmaxの式に入れると確率っぽくしてくれる。
確率は、
１．値が正
２．総和が１
にならないといけないので、値が正になるように指数関数に通して、総和が１になるように全部足したもので割って正規化する。

指数関数はこんな感じ（Wikipediaより）

Cross Entropy

You get articles that match your needs
You can efficiently read back useful information
You can use dark theme

What you can do with signing up