はじめに

「ニューラルネットワーク=ディープラーニング（深層学習）」のような会話を耳にすることが多くなってきたので、本当にそうなの？ということで、ニューラルネットワークは機械学習なのだと説明できるよう頭を整理するために記事にしてみました。

後で記事を修正するかもしれませんが、とりあえず文字だけです...(^_^;)

ニューラルネットワークを構成するもの

複数の入力に対して1つの答えを持つもの。
以下のような排他的論理和の入力（X1、X2）と出力（Y）を考えてみます。

ここでは、

f(X1, X2) = Y

となるf(X1, X2)を求めるわけです。

f(X1, X2) = (w1 \times X1 + b1) + (w2 \times X2 + b2) = Y

このとき、w1、w2、b1、b2を手で計算して求めるのはとても大変ですが、入力を繰り返し与えることでコンピュータが学習をし、w1、w2、b1、b2を調整しながら正確にYを求めることができるようになります。

前述のパラメータw1、w2、b1、b2は直線的な対応しかできないので、これをより複雑な学習ができるように様々な傾きを作り出すための仕組みです。

代表的なものに、シグモイド関数、ソフトマックス関数、ガウス関数、ReLUがあります。

上記のようなパラメータの数では複雑なものの学習をしきれないので、パーセプトロンを複数積み重ねて複雑な学習を可能にしたのがマルチレイヤーパーセプトロンです。

日本語では誤差逆伝播法（ごさぎゃくでんぱほう）と言い、上記のパラメータ調整をより効率よくする仕組みがあります。
学習した結果の予測値と実際の値を比較し、どのパラメータが誤差を生み出す原因になっているかを後ろから補正する処理のことです。

これにより、とても効率的に学習ができるようになったとのことです。

通常、ニューラルネットワークでは４層以上になると学習の効果が薄れ、あまり精度向上につながらないと言われていたようです。
古くからの研究者に「４層以上のニューラルネットワークで学習するのはどうかと思います」というような発言があるのはこのためだそうです。

上記のニューラルネットワークの結合方法を色々と工夫しながら４層以上のニューラルネットワークでも学習ができるようにして、高精度な予測を可能にしたのが深層学習とのことです。

ということで、僕の理解は以下のとおりです。

ま、間違っているかもしれないので、よくご存知の方がおられましたらコメントなどでご教示頂けると喜びます。