多層パーセプトロン（Multilayer perceptron、MLP）は、順伝播型ニューラルネットワークの一種であり、少なくとも3つのノードの層からなります。入力ノード以外の個々のノードは非線形活性化関数を使用するニューロンであり、誤差逆伝播法（バックプロパゲーション）と呼ばれる教師あり学習手法を利用することで、線形分離可能ではないデータを識別できます。非線形活性化関数として使われる関数のひとつに、シグモイド関数があります。

今回は、入力層Xに4つのノード、隠れ層Hには3つのノード、出力層Oに3つのノードを配置したMLPをExcelで実装しようと思います。

あやめのデータ（3品種）を例に説明します。

あやめのデータをダウンロードしてください。

あやめのデータは機械学習の勉強でよく使われるデータで、3品種150サンプルの花片や萼の長さ・太さから品種を当てる（予測する）という問題がよく解かれます。

B-E列が説明変数X、F列が目的変数Yと思ってください。このYを予測するMLPモデルを構築したいと思います。

隠れ層と出力層を乱数で初期化

２行目〜３行目のH0〜H2が隠れ層のニューロンを表します。各ニューロンは入力層X1〜X4からの入力を受け付けて、行列「B2:E4」で表される重み行列Wとの線形結合とベクトル「F2:F4」で表されるバイアス項θとの和を計算し、それをシグモイド関数で変換した値を出力します。

７〜９行目のO0〜O2が出力層のニューロンを表します。各ニューロンはH0〜H2からの入力を受け付けて、行列「B7:D9」で表される重み行列Wとの線型結合とベクトル「E7:E9」で表されるバイアス項θとの和を計算し、それをシグモイド関数で変換した値を出力します。このO0, O1, O2からの出力がそれぞれ、品種0、品種1、品種2である確率を出力します。

説明変数Xから目的変数Yを精度よく出力するための重み行列Wとバイアス項θを求める、というのが今回の計算の目的になります。まずは、これらの重み行列Wとバイアス項θを乱数で初期化します。

入力データを標準化

それぞれの説明変数Xについて、最大値が1、最小値が0になるような標準化を行います。

隠れ層の出力

隠れ層の各ニューロンは、入力層X1〜X4からの入力を受け付けて、行列「B2:E4」で表される重み行列Wとの線形結合とベクトル「F2:F4」で表されるバイアス項θとの和を計算し、それをシグモイド関数で変換した値を出力します。

今はWとθがデタラメな乱数なので、出力もデタラメです。

出力層の出力

出力層の各ニューロンはH0〜H2からの入力を受け付けて、行列「B7:D9」で表される重み行列Wとの線型結合とベクトル「E7:E9」で表されるバイアス項θとの和を計算し、それをシグモイド関数で変換した値を出力します。このO0, O1, O2からの出力がそれぞれ、品種0、品種1、品種2である確率を出力します。

今はWとθがデタラメな乱数なので、出力もデタラメです。

予測結果の表示

出力層O0〜O2からの出力を比較して、最も大きな出力をしたニューロンが最終的な予測結果（分類された品種）を表すことにします。

教師データの表示と答え合わせ

教師データと照合して答え合せをします。

正解していれば１点、不正解なら０点というスコアが算出されるようにします。

誤差の算出

スコアとは別に、誤差を算出します。誤差は、出力層O0〜O1からの出力と正解（教師データ）との差分の２乗和とします。

この誤差の総和Qtを最小化するWとθを求めるわけです。

精度の算出

誤差の総和を最小化するWとθを求める前に、精度指標も計算できるようにしておきましょう。ここでの精度とは、教師セットと同じ予測を出力した割合です。

ソルバー

ソルバーが解決します。目的セル、目標値、変数セルを間違いなく入力して「解決」してください。

収束例

収束結果はひとつとは限りません。私が計算した例をいくつか挙げます。エクセル表の次に描いたネットワーク図では、数値が大きいほど辺が太くなるように描いてあります。

収束例1

収束例2

収束例3

収束例4

収束例5

課題

MLPとロジスティック回帰との関係について説明してください。
収束例1〜5について、結果を解釈してください。また、ベストなモデルはどれか挙げてください。
自分で計算して、その結果を解釈してください。
「制約のない整数を非負数にする」のチェックを外してソルバーを実行するとどのような結果になるか試してください。またその結果について説明してください。
隠れ層のニューロンの数を減らすとどうなるか実験してください。
隠れ層のニューロンの数を増やすとどうなるか実験してください。
最後に、演習用データから「ピマ・インディアンの糖尿病診断」を取得し、糖尿病の人と糖尿病ではない人を区別するためのMLPモデルを作成してください。