はじめに
2019年2月20日-22日の日程で 5th CiNet conference に参加しました．会議の副題は，"Computation and representation in brains and machines"で，明確に人間の脳と機械モデルの対比が意識されていました．無料かつ日本開催であるにも関わらず，正真正銘 世界最高レベルの研究者が集まり，彼らの話を直に聞くことができ，非常に贅沢な時間を過ごしました．3日間で合計22件の講演と18件のポスター発表を見た上で，脳科学と機械学習分野の融合領域について考えたこと・感じたことを，ここにまとめておきます．
ちなみに，CiNet (Center for Information and Neural Networks) は，人間の脳機能についての理解を高めるための研究と，知的機能をもつ応用技術の開発を高いレベルで実行されている日本の代表的研究センターのひとつです．そこでは，細胞レベルの特性解析から，ブレインマシンインターフェースや，脳活動のエンコーディング・デコーディング技術，また脳を模倣するネットワークの開発など，脳の理解に基づいた幅広い研究が行われています．
総論
近年，「人間の脳」と「Deep Neural Network」の間に構造的類似性があることが明確に示されてきました．この事実は，「人工ニューラルネットワークの構造によって，脳構造が説明できるという強い仮説を基に実験可能になる」という点で，神経科学と機械学習分野の両方において大きな意味を持ちます．神経科学と機械学習の距離が近づくと同時に、「両者を繋ぐためにどのような情報表現や計算を使うか」という課題の重要性が増してきています．特に，"神経細胞の集合体として物理的に存在する「脳」と，コンピューターの中で仮想的に表現される「人工ニューラルネットワーク」をどうやって同じ土俵に乗せるか？"ということが活発に議論されています．また両者のつながりの中で，DeepNNの設計改善のために，「好奇心」などの生物独特の特性が導入され始めています．この動きは，特に強化学習分野の改善にとって大きな存在になりうることが示唆されます．
1. 「人間の脳」と「Deep Neural Network」の構造的類似性を示す証拠たち
ここ数年の間に，「猿や人間の視覚野」と「Convolutional neural network (CNN)」の間に高い構造的な相似性があることが複数の論文で示されてきました1．そして，この考え方は，（少なくともCiNet conferenceに参加している最前線の研究者たちの）共通認識になってきています．生物の脳構造についての研究結果を，直接的に人工的なニューラルネットワークと比較する研究が実施され始めたことは，「人工ニューラルネットワークの構造によって脳構造が説明できるという強い仮説を基に実験可能になる」という点で大きな意味を持ちます．
従来の脳研究だと，fMRIなどを使って脳の構造や活動を詳細に「観察すること」に多くの労力が注がれてきました．一方で，その数理モデル化については，多くの場合，観察データが十分集まってからゆったりと実施されてきました．その理由は，「人工ニューラルネットワークが脳のモデル化をするために十分」という仮説自体がメジャーではなかったので，研究者たちは脳活動を説明する数理モデルを，ハンドメイドで1から考えなければならなかったからです．
一方，「人工ニューラルネットワークが脳のモデル化をするために十分利用できる」という考え方が共通認識になると，脳構造の観察から数理モデル化への流れがぐっと単純化されます．具体的には，人間の被験者と人工ニューラルネットワークを事前に用意して，両方に同じ画像や音声を与えたときの活動パターンを比較するという枠組みが使えるようになります．これにより，これまで別々に行われてきた脳の「観察」と「モデル化」を，ひとつの実験の上で同時に実行できるようになります．
未来から振り返ったとき，この考え方の変化は，もしかしたら革命的ポイントになっているかもしれません．この変化は，そのくらいインパクトの大きなものだと考えられます．
2. 生物の脳 と Artificial Neural Network を繋ぐための考え方
神経科学と機械学習の距離が近づくと同時に、「両者を繋ぐためにどのような情報表現や計算を使うか」という課題の重要性が増してきています．ここで議論されている問題を単純に書くと，"神経細胞の集合体として物理的に存在する「脳」と，コンピューターの中で仮想的に表現される「人工ニューラルネットワーク」を，どうやって同じ土俵に乗せるか？"ということになります．
ひとつの回答は，人工ニューラルネットワーク（特に CNN）の各レイヤーで得られる中間表現を，視覚野の脳活動表現と対応づけて分析するというものです．例えば，CNNと人間に全く同じ画像を見せて，その際のCNNの各層の表現と，人間の視覚野の表現の相関を取るといった分析が活発に行われています2．もうひとつは，ある刺激に対する反応を抽象化したものを比較するというものです．Representational Simirality Analysis (RSA) 3と呼ばれるこの手法では，ある刺激の組を用意して，その組における情報表現の「異質性」の評価を行列としてまとめ，その行列を脳と人工ニューラルネットで比較するという手続きを取ります．
これまでの研究でも，人間の行動パターンを，脳活動の視点から説明するために，機械学習のテクニックを利用することは多くありました4．「脳活動デコーディング/エンコーディング」という考え方は，その代表的なものに当たります．例えば，脳活動デコーディングだと，機械学習を利用して，計測した脳活動から被験者が見ていた画像・音声を当てるという枠組みが考えられてきました．一方で，従来の研究では，あくまでも機械学習を「利用する」に留まり，直接的に「脳と機械モデルを比較する」というものは少数でした．一方で，これからは両者を直接的に比較する研究が，むしろメジャーになる可能性が高いのではないかと，CiNet conference で強く感じました．
3. Deep Neural Network のさらなる発展へ向けた生物学的制約の導入
人工ニューラルネットワークは，その誕生の経緯も含めた設計思想の根本に，「人間の脳構造を模倣する」という考え方が流れています．特にMatthew Botvinick (DeepMind) や Dileep George (Vicarious) の講演を通じて，この流れが2019年現在もまったく衰えていないことを再確認しました．また現状のDeepNNの設計を改善していくために，積極的に生物の脳構造や行動特性を取り入れていこうとする姿勢が，Conference全体として非常に強く印象に残っています．
それでは，最新の研究として，具体的にどんな特性が機械学習の理論に取り入れられようとしているのでしょうか？ 詳細は省きますが，CiNet conferenceにおける回答は大きく分けて，3つの方向性に分けられます．
1つ目は，人間の脳内のドーパミン駆動の活動を，特に強化学習の分野に取り入れようとする動きです．2つ目は，好奇心に代表される内的動機を学習モデルに取り入れようとする方向性です5．3つ目は，動物の探索行動を模倣しようとする方向性です．これら3つに共通するのは，「進化論的に獲得された構造や行動パターンの知識が，既存の機械学習モデルの改善にとって有益である」という確信のようなものだと考えられます．
DeepMind や Vicarious のような企業が，神経科学や心理学的な知識を明確に意識していることは，これからの人材市場においても少なくない影響を与えるように感じました．もしかしたら，人工知能系サービスの開発に携わるための基本教養として，技術者にこういった知識が求められる日が近い将来に来るかもしれません．
-
Daniel L. K. Yamins, et al. "Performance-optimized hierarchical models predict neural responses in higher visual cortex", vol.111, PNAS, 2014. ↩
-
Tomoyasu Horikawa, Yukiyasu Kamitani, "Generic decoding of seen and imagined objects using hierarchical visual features", vol.8, Nature Communications, 2017. ↩
-
Nikolaus Kriegeskorte, et al., "Representational similarity analysis – connecting the branches of systems neuroscience", vol.2, Frontiers in Systems Neuroscience, 2008. ↩
-
Tom M. Mitchell, et al., "Predicting Human Brain Activity Associated with the Meanings of Nouns", vol.320, Science, 2008. ↩
-
Nick Haber, et al., "Learning to Play with Intrinsically-Motivated Self-Aware Agents", NIPS, 2018. ↩