機械学習
MachineLearning
モデリング
全脳アーキテクチャ

【論文シリーズ】(大脳)皮質の学習モデリング

原文

Cortical Learning via Prediction
Christos H. Papadimitriou (2015)

1. 要約/背景

  • PJOIN(=Predictive JOIN)という学習アルゴリズムを開発した。関連付けと予測を組み合わせたアルゴリズムで、任意の2値判断を組み合わせたアンサンブル学習が可能にある。
  • ニューロイドとよばれる情報単体が単位になる。ニューロイドは超近隣のニューロイドとのみ相互作用を及ぼし、応答の結果をフィードバックする。近隣とはシナプスに対応する結合で繋がる。
  • 不応期 (refractory period) などの神経伝導の細かい振る舞いもモデリングできる。

2. 骨子の理論

(1)2つの単位アルゴリズム

  • JOIN
    • C=JOIN(A, B)のとき、AとBが興奮することによって、Cも興奮する。
  • LINK
    • LINK(A, B): Aが興奮するとき、Bも興奮する。

(2)ニューロイドの数的モデル

ニューロイドは、$(T,f,q)$という3次元で状態を表現できる。
$T$ は閾値、$f$ は興奮かどうかの論理判定値、$q$ はニューロイドの取りうる状態値である(NNのおける入力値みたいなもの)。
伝達の重みを$w$とすると、ニューロイド$\nu$, シナプス$e$の更新$\delta$、$\lambda$はそれぞれ

(T_i^{t+1}, q_i^{t+1}) \leftarrow \delta(T_i^{t},q_i^{t},f_i^{t+1},W_i^{t}), \\
(w_{ji}^{t+1}, qq_{ji}^{t+1}) \leftarrow \lambda(q_i^{t},qq_{ji}^{t},f_j^{t},f_i^{t+1},W_i^{t})

(3)PJOINのアルゴリズム

$C = {\rm PJOIN}(A, B)$のとき、

  • ①$C = {\rm JOIN}(A, B)$が成り立つ
  • ②ニューロイド$C$は、$1/2$の確率でつぎのステップに関わる。$C$の一部が予測ニューロイド$C_P$となる。残りは遂行役 (Operational) となり、$A$もしくは$B$から発火を受け取る。
  • ③予測ニューロイドは、$A$および$B$と${\rm LINK}(C_P, A_P)$, ${\rm LINK}(C_P, B_P)$のように結合する。(ここで、$C$から$A$or$B$へのフィードバックが発生する)$C_P$は$A$または$B$から2倍の強さで伝達を受ける。

151207224351_2.JPG

(4)情報の知覚と学習

$x\in \{ 0,1 \}$の二値表現で、情報を受け入れる。
ある一つのアイテム($A \sim C$に該当するもの)を$I(x)$と表すと、$I(x)$の表現が同一化 (identical) になったとき、ニューロイドは学習したことになる。

~アルゴリズム~

  • $p$の確率で興奮するアイテムを用意。
  • 確率$q$で伝播する$C = {\rm PJOIN}$形式を作る。
  • 全体的に伝播現象が止まるまで反応を続ける。

3. モデル適用例

本モデルは、教師なし学習をベースとしている。下のグラフは、PJOINのネットワーク数と対応する現象のゆらぎの確率を示している。ゆらぎの確率(perturbation probability)は高いほど、現象が変化しやすく、モデル化が難しい。
確率0.5のゆらぎに対して、600以上のPJOINネットワークの構成でパターン認識できるという結果が読み取れる。

151207224351_3.JPG