配置するニューロン

使用するニューロンの模式図を以下に示します。

入力と重みの積の総和に、バイアスを足し合わせて活性化関数に入力します。
活性化関数として、以下に示すステップ関数を使います。

ステップ関数は関数への流力が負の値場合は0、正の場合は1をとるシンプルな関数です。
ステップ関数はニューラルネットワークの学習によく使われるバックプロパゲーション（誤差逆伝播法）による学習ができないのですが、今回はバックプロパゲーションによる学習は行わないのでこの関数で十分です。

投射ニューロンと介在ニューロン

大脳皮質の神経細胞には、おおまかに分けて「投射神経細胞」と「介在神経細胞」があります。
投射神経細胞は、属する領域を超えて長い距離軸索を伸ばし遠方の神経細胞と接続されます。
一方、介在神経細胞は近傍の神経細胞と接続されます。

この2つの神経細胞に倣い、今回のニューラルネットワークには遠方接続する「投射ニューロン」と近傍のニューロンと接続する「介在ニューロン」を配置します。
以下に示すように、投射ニューロンは遠方のニューロンと接続されて、介在ニューロンは近傍のニューロンと接続されます。

実装時は、介在ニューロンの出力をランダムな位置にすることで投射ニューロンとします。
介在ニューロンを並べて、このうちの一定の割合の出力位置をシャッフルします。

大脳皮質の神経細胞は、「興奮性神経細胞」と「抑制性神経細胞」に分けることもできます。
これに倣い、「興奮性ニューロン」と「抑制性ニューロン」を導入します。
以下に示すように、興奮性ニューロンからの入力には正の重みをかけて、抑制性のニューロンからの入力には負の重みをかけます。

大脳皮質における神経細胞の20％程度は抑制性神経細胞なので、抑制性ニューロンの割合は20%程度にします。
重みの初期値はランダムな正の値としますが、そのうちの20%に-1をかけて負の値とします。

バイアスの値はニューロンの感度、すなわちニューロンの興奮しやすさですが、こちらも初期値はランダムに設定します。

今回の「その3」では、使用するニューロンについて解説しました。
「その4」に続きます。

なお、本記事の内容は、拙著「あたらしい脳科学と人工知能の教科書」をベースにしています。

【コミュニティ「自由研究室 AIRS-Lab」】
「AI」をテーマに交流し、創造するコミュニティ「自由研究室 AIRS-Lab」が活動中です。
https://www.airs-lab.jp/