記事内容の更新について

本記事を最初に公開した後で実装内容やパラメータ値の更新を行ったことにより以前よりも高い学習精度を出せるようになりましたので、2026年2月28日に更新後の内容に基づいて本記事の内容を刷新しました。

はじめに

ニューラルネットワークの学習といえば「微分の連鎖律を用いた誤差逆伝播法（Backpropagation）」が常識です。しかし以下のように、この学習方法は脳の仕組みとしてはかなり不自然なものです。

生物の脳では、信号は軸索を順方向にしか流れない
しかし、BP法では誤差信号を出力層から入力層に向かって逆方向に伝播させる
さらに、各層の微分値を連鎖的に掛け合わせる必要がある

Winny開発者としても知られる金子勇氏は、この生物学的に不自然な仕組みを受け入れることができず、1999年に脳の神経伝達物質（アミン）の拡散をモデル化した「誤差拡散学習法（ED法）」(以下、オリジナルED法)を考案されました。

本記事では、このオリジナルED法に大脳皮質のコラム構造を導入することで多クラス分類を可能にした「コラムED法」を紹介します。誤差逆伝播法を一切使わずに、MNIST手書き数字認識で 97.08% のテスト精度を達成しています。

リポジトリ: https://github.com/yoiwa0714/columnar_ed_ann

オリジナルED法とは何か

BP法との本質的な違い

まず、従来のBP法と金子勇氏のオリジナルED法の違いを整理します。

	BP法（誤差逆伝播法）	オリジナルED法（誤差拡散学習法）
誤差の伝播方法	微分の連鎖律で軸索を逆流	アミン濃度として空間に拡散
各層の学習	後段の勾配に依存	各層が独立して学習
生物学的妥当性	低い	高い

左: BP法 — 誤差信号が軸索を逆流。右: ED法 — アミン拡散により各層が独立学習

ED法の学習手順

ED法の学習は、以下の4ステップで行われます。

1. 順伝播:  入力 → 隠れ層(tanh) → 出力層(SoftMax) → 予測
2. 誤差計算: 正解クラスの確率誤差 → アミン濃度に変換
3. アミン拡散: 出力層から隠れ層へ（コラム構造に沿って選択的に拡散）
4. 重み更新: アミン濃度 × 飽和抑制項 × 入力 で各層が独立に更新

ここで重要なのが飽和抑制項です。

飽和抑制項 = |z| × (1 - |z|)

これはシグモイド微分 z(1-z) でも tanh微分 1-z² でもありません。微分の連鎖律を使わずに、ニューロンの活性値 z が飽和（±1に近い）するほど更新量が小さくなる仕組みです。各層が独立して適切な更新量を決定できる、ED法の核心部分です。

コラムED法 — 大脳皮質のコラム構造を導入

なぜコラム構造が必要なのか

オリジナルED法には課題がありました。2クラス分類を前提として設計されていたため、MNIST（10クラス）のような多クラス分類が困難だったのです。

これは隠れ層のニューロンが「どの出力クラスに寄与するのか」という情報を持っていなかったため、異なるクラスの学習信号が干渉してしまうことが原因でした。

大脳皮質のコラム構造とは

大脳皮質の第一次視覚野には、似た特性を持つニューロンが柱（コラム）状に集まった構造が確認されています。例えば、特定の方位のエッジに反応するニューロンが縦方向に集合した「方位選択性コラム」が知られています。

コラムED法では、この構造を取り入れました。

図はcolumn_neurons=1(1つのクラスに属するニューロン数を1とする)指定時の全2048ニューロンの配置の様子。10個のクラスはハニカム構造で配置。グレー: 非コラムニューロン（2038個）、色付き: コラムニューロン（10個）

実装のポイント

隠れ層のニューロンをグリッド状の2次元空間に配置
各クラスのコラム中心をハニカム構造で1項の2次元空間上に配置（10クラスなら10個）
コラム中心に最も近いニューロンをコラムニューロンとして割り当て
正解クラスのコラムニューロンのみがアミン信号を受け取って重みを更新
コラムに属さないニューロンは固定ランダム重みのまま保持

column_neurons=1(1つのクラスに属するニューロン数を1とする)指定時には、2048ニューロンのうちわずか10個（0.5%）のみが学習し、残り2038個は固定ランダム重みです。これはリザバーコンピューティングの原理と一致します。

Gabor特徴抽出 — V1野のモデル化

学習メカニズムだけでなく、入力前処理にも生物学的アプローチを採用しています。

大脳皮質V1野（第一次視覚野）の単純型細胞は、特定の方位と周波数のエッジに選択的に反応します。本実装ではこれをGaborフィルタでモデル化しています。

フィルタ構成:

8方位 × 2周波数 = 16 Gaborフィルタ + 2 Sobelエッジフィルタ = 18フィルタ
カーネルサイズ: 7×7、プーリング: 4×4平均プーリング
出力次元: 784 → 882（MNIST 28×28の場合）

上段: 18個のGabor/Sobelフィルタカーネル。下段: MNIST数字に対する各フィルタの応答（Hot colormap）

** 学習メカニズム自体は一切変更せず、入力品質の向上だけで精度が約6%向上しました。

1層構成	Gabor OFF	Gabor ON	改善幅
テスト精度	90.37%	96.13%	+5.76%

達成精度

MNIST手書き数字認識での実験結果（seed=42、再現可能）:

Gabor特徴あり

構成	隠れ層	テスト精度
1層	[2048]	96.13%
2層	[2048, 1024]	97.08%
3層	[2048, 1024, 1024]	96.84%

Gabor特徴なし

構成	隠れ層	テスト精度
1層	[2048]	90.37%
2層	[2048, 1024]	88.50%
3層	[2048, 1024, 1024]	87.31%

実験条件: 訓練10,000サンプル、テスト10,000サンプル、seed=42。エポック数は自動設定（1層: 10、2層: 20、3層: 30）。

左: Gabor有無の精度比較（+5.7%改善）。右: 2層Gaborの学習曲線（Epoch 1で92.6%到達）

特筆すべき特性

学習が非常に速い — 十分な数のデータで学習させた場合にはEpoch 1で既に最終精度の90%以上に到達します。BP法で見られるような、多くのエポックをかけてじわじわ精度が上がるパターンとは全く異なります。

パラメータ調整が容易 — 勾配消失や勾配爆発が原理的に発生しないため、パラメータが最適値から多少外れても精度が大きく下落するようなことは生じ難くなっています。

すぐ試せます

インストール

git clone https://github.com/yoiwa0714/columnar_ed_ann.git
cd columnar_ed_ann
python -m venv .venv && source .venv/bin/activate
pip install -r requirements.txt

実行例

# 1層 + Gabor特徴（約3分）→ 96.13%
python columnar_ed_ann_simple.py --hidden 2048 --train 10000 --test 10000

# 2層 + Gabor特徴（約10分、最高精度）→ 97.08%
python columnar_ed_ann_simple.py --hidden 2048,1024 --train 10000 --test 10000

# 可視化付き
python columnar_ed_ann_simple.py --hidden 2048 --train 5000 --test 5000 --viz --heatmap

層数に応じた最適パラメータは config/hyperparameters.yaml から自動設定されるため、ユーザーが必須で指定する必要のある引数オプションは隠れ層構成だけです。

なぜこの研究が重要か

1. 脳の学習メカニズムへの示唆

誤差逆伝播法を使わずに97%の精度を達成できるという事実は、脳がBP法とは異なるメカニズムで学習している可能性を支持します。アミン拡散という生物学的に妥当な仕組みだけで、実用的な精度に到達できることを実証しています。

2. ニューラルネットワークの多様性

現在のディープラーニングはBP法一辺倒ですが、BP法が唯一の解ではありません。ED法のような代替アプローチの存在は、ニューラルネットワーク研究の新たな可能性を示しています。

3. 金子勇氏の先見性

1999年という時期に、生物学的妥当性を重視したニューラルネットワーク学習法を考案した金子勇氏の先見性は特筆に値します。近年の神経科学で明らかになりつつある脳の学習メカニズムとの整合性は、当時の着眼の正しさを裏付けています。

技術的な詳細

より詳しく知りたい方のために：

動作フロー詳細: コラムED法動作の流れ（ブロックダイアグラムとコード解説）
オリジナルED法の理論: ED法解説資料
金子勇氏のオリジナルCソースコード: リポジトリの original-c-source-code/ に収録

まとめ

コラムED法は、金子勇氏のED法に大脳皮質のコラム構造を導入した拡張
誤差逆伝播法を一切使用せず、MNIST 97.08%を達成
生物学的に妥当な機構（アミン拡散、コラム構造、Gabor特徴）のみで学習
学習が速い（Epoch 1で精度の90%以上に到達）
パラメータ調整が容易（勾配消失・爆発が発生しない）
Pythonで実装、pip installだけですぐに試せる

バイオインスパイアードな学習アルゴリズムに興味のある方、BPの代替手法を模索している方、金子勇氏の業績に関心のある方は、ぜひコードを動かしてみてください。

謝辞: 本実装は、故・金子勇氏が1999年に考案されたError-Diffusion（ED）学習法に基づいています。生物学的に妥当なニューラルネットワーク学習アルゴリズムにおける氏の先駆的な業績に対し、深い敬意と感謝の意を表します。

リポジトリ: https://github.com/yoiwa0714/columnar_ed_ann
ライセンス: PolyForm Noncommercial License 1.0.0（非商用利用は自由、商用利用は別途ライセンス）