Qiita Teams that are logged in
You are not logged in to any team

Log in to Qiita Team
Community
OrganizationAdvent CalendarQiitadon (β)
Service
Qiita JobsQiita ZineQiita Blog
Help us understand the problem. What is going on with this article?

【論文シリーズ】(大脳)皮質の学習モデリング

More than 3 years have passed since last update.

原文

Cortical Learning via Prediction
Christos H. Papadimitriou (2015)

1. 要約/背景

  • PJOIN(=Predictive JOIN)という学習アルゴリズムを開発した。関連付けと予測を組み合わせたアルゴリズムで、任意の2値判断を組み合わせたアンサンブル学習が可能にある。
  • ニューロイドとよばれる情報単体が単位になる。ニューロイドは超近隣のニューロイドとのみ相互作用を及ぼし、応答の結果をフィードバックする。近隣とはシナプスに対応する結合で繋がる。
  • 不応期 (refractory period) などの神経伝導の細かい振る舞いもモデリングできる。

2. 骨子の理論

(1)2つの単位アルゴリズム

  • JOIN
    • C=JOIN(A, B)のとき、AとBが興奮することによって、Cも興奮する。
  • LINK
    • LINK(A, B): Aが興奮するとき、Bも興奮する。

(2)ニューロイドの数的モデル

ニューロイドは、$(T,f,q)$という3次元で状態を表現できる。
$T$ は閾値、$f$ は興奮かどうかの論理判定値、$q$ はニューロイドの取りうる状態値である(NNのおける入力値みたいなもの)。
伝達の重みを$w$とすると、ニューロイド$\nu$, シナプス$e$の更新$\delta$、$\lambda$はそれぞれ

(T_i^{t+1}, q_i^{t+1}) \leftarrow \delta(T_i^{t},q_i^{t},f_i^{t+1},W_i^{t}), \\
(w_{ji}^{t+1}, qq_{ji}^{t+1}) \leftarrow \lambda(q_i^{t},qq_{ji}^{t},f_j^{t},f_i^{t+1},W_i^{t})

(3)PJOINのアルゴリズム

$C = {\rm PJOIN}(A, B)$のとき、

  • ①$C = {\rm JOIN}(A, B)$が成り立つ
  • ②ニューロイド$C$は、$1/2$の確率でつぎのステップに関わる。$C$の一部が予測ニューロイド$C_P$となる。残りは遂行役 (Operational) となり、$A$もしくは$B$から発火を受け取る。
  • ③予測ニューロイドは、$A$および$B$と${\rm LINK}(C_P, A_P)$, ${\rm LINK}(C_P, B_P)$のように結合する。(ここで、$C$から$A$or$B$へのフィードバックが発生する)$C_P$は$A$または$B$から2倍の強さで伝達を受ける。

151207224351_2.JPG

(4)情報の知覚と学習

$x\in \{ 0,1 \}$の二値表現で、情報を受け入れる。
ある一つのアイテム($A \sim C$に該当するもの)を$I(x)$と表すと、$I(x)$の表現が同一化 (identical) になったとき、ニューロイドは学習したことになる。

~アルゴリズム~

  • $p$の確率で興奮するアイテムを用意。
  • 確率$q$で伝播する$C = {\rm PJOIN}$形式を作る。
  • 全体的に伝播現象が止まるまで反応を続ける。

3. モデル適用例

本モデルは、教師なし学習をベースとしている。下のグラフは、PJOINのネットワーク数と対応する現象のゆらぎの確率を示している。ゆらぎの確率(perturbation probability)は高いほど、現象が変化しやすく、モデル化が難しい。
確率0.5のゆらぎに対して、600以上のPJOINネットワークの構成でパターン認識できるという結果が読み取れる。

151207224351_3.JPG

To_Murakami
I'm a data scientist who worked in a Web service company (now working at a pharmaceutical company). Thanks for your attention, feel free add me to your network by following.
http://www.msd.co.jp/
Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away