追記：重大ミス
binary_crossentropyに変えたら精度が良くなったというのは勘違いでした。model.evaluate()で出てくる数字や学習中に出てくるaccuracyというのが caetgorical_accuracyではなく binary_accuracyとして表示されてしまっていたのが原因でした。
また、ここで手計算している binary_crossentropyというのもよくわからない計算をしたものになっています。混乱していた中で書いてしまった恥ずかしいミスです。こんなミスがあったということを覚えておくために残しておきますが、以下の情報は役には立ちません。
kerasでcifar10の画像分類を試していたところ、最後の損失関数をcategorical_crossentropyから binary_crossentropyに変えたら急に精度が良くなりました。
70% -> 95%
categorical_crossentropyとbinary_crossentropyのイメージがつかなかったので手計算してみました。
これで合ってるかな・・・？
binary cross entropyの方が出力がなだらかになる感じですね。
２クラス分類（categoricalもbinaryも同じ）
| y | p |
|---|---|
| 0 | 0.9 |
| 1 | 0.1 |
if t = 0
-(0log(0.1) + 1log(0.9))
= 0.105
if t = 1
-(1log(0.1) + 0log(0.9))
= 2.303
３クラス分類① categorical
| y | p |
|---|---|
| 0 | 0.9 |
| 1 | 0.05 |
| 2 | 0.05 |
if t = 0
-(1log(0.9) + 0log(0.05) + 0*log(0.05))
= 0.105
if t = 1
-(0log(0.9) + 1log(0.05) + 0*log(0.05))
= 2.996
if t = 2
-(0log(0.9) + 0log(0.05) + 1*log(0.05))
= 2.996
３クラス分類① binary
| y | p |
|---|---|
| 0 | 0.9 |
| 1 | 0.05 |
| 2 | 0.05 |
if t = 0
-(1log(0.9) + 0log(0.05) + 0*log(0.05))
= 0.105
if t != 1
-(0log(0.9) + 1log(1 - 0.9))
= 2.303
３クラス分類② categorical
| y | p |
|---|---|
| 0 | 0.6 |
| 1 | 0.3 |
| 2 | 0.1 |
if t = 0
-(1log(0.6) + 0log(0.3) + 0*log(0.1))
= 0.511
if t = 1
-(0log(0.6) + 1log(0.3) + 0*log(0.1))
= 1.204
if t = 2
-(0log(0.6) + 0log(0.3) + 1*log(0.1))
= 2.303
３クラス分類② binary
| y | p |
|---|---|
| 0 | 0.6 |
| 1 | 0.3 |
| 2 | 0.1 |
if t = 0
-(1log(0.6) + 0log(0.3) + 0*log(0.1))
= 0.511
if t != 1
-(0log(0.6) + 1log(1 - 0.6))
= 0.916