Hidden Unit/Layer

一般的に下図[1]のようにhidden unitsとhidden layerは入力と出力のunit/layerと結合する。

一般的な値

hidden layerは一般的に2層よりも3層の方が優れた結果を出すが、それ以上増やしても良い結果を出すことはあまりない。ただし、畳込みネットワークではたくさん増やすと精度がでることがわかっている。

原文[1]

in practice it is often the case that 3-layer neural networks will outperform 2-layer nets, but going even deeper (4,5,6-layer) rarely helps much more. This is in stark contrast to Convolutional Networks, where depth has been found to be an extremely important component for a good recognition system (e.g. on order of 10 learnable layers).

Hidden Unit/Layer の数による影響

2次元の2値分類をhidden unitを変えて試した結果が下図である。hidden unitが多いと表現できる関数が増えるためより複雑な分類ができるようになる。しかし、下図[1]の赤丸が誤り(ノイズ)の場合は過学習となってしまっているため、気をつける必要がある。

参考文献

[1] CS231n Convolutional Neural Networks for Visual Recognitions by Andrej Karpathy