【勉強会】「第15回全脳アーキテクチャ勉強会」 の参加レポート (6/14/'16)

はじめに

　テーマは「進化・発達と学習」でした。このテーマを扱う狙いは、汎用人工知能の設計に進化もしくは発達の要素を組み込むことです。あるいは、組み込むためのヒントを得ることです。
　このコンセプトを聞いてしっくりこない場合は、「全脳」と「アーキテクチャ」それぞれの文言を理解するといいかもしれません。全脳はヒトの脳の器官・機能すべてを指します。いわば、全ての機能を携えた人工知能（汎用人工知能）の作成がこの文脈におけるゴールとなります。アーキテクチャはある種の"デザイン"に関連したことばです。直訳すると、「建築物・構築物」。すなわち、全脳人工知能を作るために、設計として、複数の機械学習器を組み合わせて作ります。組み合わせるという設計方針に対して、完成した構築物としての学習器をアーキテクチャと呼びます。
　以上の設計方針のもとで、進化と発達はどのように関わってくるでしょうか（学習は言うまでもないので割愛）。生物の進化は末代の我々に発言する形質に現れます。したがって、汎用人工知能において、アーキテクチャそのものあり方が進化という現象に関わってきます。
　一方、生物の発達について考えると、想定された環境のもとで、定型的にまとまった能力を獲得する過程を考えることができます。観測者視点では、生物のフェーズが変わる、もしくはある種の非連続的な成長を感じることがあります。機械学習の観点では、カリキュラム学習がかかわってきそうですが、まだ議論の余地があります。
　本勉強会では、生物における進化と発達について、川合准教授、岡田教授からそれぞれ講演を受け、「発達」という段階の必要性についてパネル・ディスカッションが実施されました。

オープニング

「いかにはやくAGIにたどり着くか？」

講演：山川宏氏(ドワンゴ)

AGI = Artificial General Intelligence; 汎用人工知能

最近の技術動向

• 大脳新皮質のNetwork Modelの解明が進んでいる
• 6層構造のコネクトーム（神経細胞回路図）のデザイン
• テーマが大脳皮質下の器官（海馬、視床下部など）のデザインに移る
• 機械学習器のアルゴリズムの三役はCNN、RN（強化学習）、LSTM（RNNの一種）が固い。
• 新皮質・予測符号化（Rao 1992）→局所処理に分解可能→大規模並列化

全脳アーキテクチャ研究ハッカソン

直近のイベント
DeepPredNetというニューラルネットワークモデルを実装しようという研究会。DeepPredNetは大脳新皮質の構造をよく再現できたモデルです。

• OpenAI（AIのオープン開発）が望ましい
• LIS(Life in Silico), BiCAmon, BriCAといったツールをオープンソースとして提供している
• WBA(全脳アーキテクチャ)開発加速のためには、開発環境から成果物をメンバーがそれぞれの組織に持ち帰って、競争力を強化させることが重要だ。
• デモムービーはこちら

「はじめに」でも触れたように、
WBA = 機械学習 + 認知アーキテクチャ
= 人に至る進化→子供の発達→人の学習
という構図で捉えるとよい。

講演

「ヒトの知性の進化」

講演：川合伸幸准教授（名古屋大学／情報科学研究科）
（川合先生の研究テーマ）
進化的アプローチ　ヒトのかしこさとは
種と年齢の比較による知性の解明
情動の研究

歴史上の見地

• デカルトの時代: 人間機械論→他の動物から一線を画している
• ダーウィン：　人間を構成するものは、動物から連続的に生得したものである。
• ダーウィンに反対する立場も根強い →インテリジェント・デザイン（ヒトのような複雑な有機体が無目的に形成されるのはありえない）

線虫も学習する

　「人と動物を分ける違いは何なのか？」
歴史を振り返ると、上記の問いに行き着く。
ある者は学習するかどうかだと主張するが、それは誤りだ。
例えば、神経細胞が302個しかない線虫も学習する。
匂いをセンサーに回避運動を学ぶ。

学習には制約がある

　学習は神経細胞だけに制約されるわけではない。個体を構成するモジュールの制約をうけることもある。
　例えば、ザリガニ。反射の逃避に加えて、回避運動も学習させるとする。ザリガニは前後の運動の巧拙が非対称である。一方の運動の学習には制約が伴う。
　動物はあらゆるレパートリーの行動を自由に遂行できるわけではない。状況に合わせて取りうる行動のレパートリーは限られる。行動とモジュールにConflictがあると、学習が進まないことが分かる。

動物は学習したこと以外の項目を想像できない

　例えば、数の概念。人間は数の連続を理解できる。だから、数えたことない大きな数字の存在も理解することができる。一方で、動物の脳ではそれぞれの数が分離している。11まで覚えたとしても、次に12が来ることを想像できない。(Hauser, Chomsky & Fitch; 2002)

強化学習の先にある目標とビジョンは「推論・問題解決」能力

現段階でも動物はある程度の推論や洞察が可能
* 推移律の学習（カードの差別化問題など）
→象徴距離効果（遠い関係にある2者ほど差異を理解しやすい）
* 保存概念（質量、重さ、体積、面積、比重などの概念）
→カラスの餌取り実験（石を入れて浮いた餌を取る）
※学習による能力の変化は見られなかった

結局、学習・進化の鍵は「想像力」

理由：今の技能だけでは解決できないとき、今「ある」状態から、「ない」状態を想像して変化させる必要があるから。
* 動物は一時的な道具作りや発明ができるが、うまい作り方や工夫ができるわけではない。
* 人は動作学習が可能。（教え合う、協調的コミュニケーション）
* 動物は動作学習をしない。成長曲線に限界が出てくる（他者の経験に乗ることをしなければ、1個体が獲得できる知識はたかが知れているため）

最近の対話テクノロジー（自然言語処理・画像）

Nextreamer　古川氏

• Ross Intelligence：人工知能弁護士
  →言語処理システムにWatsonを搭載。質問に対して、回答項目に独自のランク付けを行い、最適な回答を出すことができる。
• MINARAI：APAホテル社長がBot化し、カスタマーの質問に答えるシステム。Nextreamer製の人工知能A.I.Galleriaが搭載されている。人によるやりとりの修正が可能という柔軟性にあふれた構成になっている。

＜対話機能における長期的な目標＞

• パターン化していない会話を何往復も自然に続けられるようになること
• どんな状況下でも会話をクリアに拾える音声技術を手に入れること

「発達する知能　ことばの学習を可能にする能力」

講演：岡田浩之教授（玉川大学　脳科学研究所応用脳科学研究センター）

• 幼児発達の研究（人間の高度な情報処理能力発達の謎を解く鍵をにぎると見ている）
• 「言語発達→意思決定／発話理解によるもの」というモデルを形成した

発達の原理

参考サイト

• 「遺伝」と「環境」の相互作用により調整される
• 「遺伝」→初期値、「環境」→学習である
• 発達には方向性と順序性がある（例：中心→抹消、具体→抽象、これらは不可逆）
• 漸成性：生物の機能は発生分化を通じて次第に形成されていくという性質（後成説とも言われる）

U字型成長

発達に伴い、同じ行動が消えたり、現れたりする現象。ただし、再び現れるときは、最初と異なる行動機制のもとで生じることが多い。

＜なぜ、U字なのか？＞（一見、方向性・漸成性と矛盾する）

• 探索と知識利用のトレードオフ説
• 汎化能力の獲得と例外処理説
• 知識の増加による一時的な負荷増大
• 知識獲得、方略、メタ認知、内容理解など、複数プロセスの相互非線形的要因

ことばの獲得にまつわる諸トピック

• 語彙爆発：8〜10語／日という爆発的な語彙獲得ペースになると言われていたが、正確に測り直すと、99%は4語以下／日であることがわかった。
• 子供＝無垢（神経回路がつながっていない）という認識は誤り
  →ベースの技能に時間をかけて技能を上乗せして回路を強化していく
• クワインの謎＝記号と意味はどのように結び付けられるのか
• ブーバ・キキ効果（音の感じで記号の対応関係に傾向が見られる）
  →音象徴とReferential Insightの形成（音象徴が記号接地の手がかりになるのでは？）
  ※参考:クワインの謎とブーバキキ効果について（12と15ページ）
• ことばを話す前の乳児でも音象徴性に対する感受性を持つ
• 推論の対称性と語彙獲得
  →"りんご"という物体とappleという記号。学習したら、逆方向も自然に理解する。でも、これができる生物は人間含めごくわずかしかいない。
• 刺激等価性
  絵→音→字と知覚媒体が移っても、対応関係を理解できる
• ヒトはものとものとの関係を常に双方向的に学習する　（友永; 1990）
  →語彙を獲得する過程に関係がある（動物にできない理由はわかっていない）

以上を踏まえ、言語学習を可能にする要素は？

• 音象徴とReference insight
• 対称性（刺激等価性）
  →ブートストラップ

言語を獲得するロボットの実現

講演：中村友昭氏（電気通信大学 大学院情報理工学研究科）

• ヒトや環境とのInteractionに関する研究 概念形成 語意の獲得（記号接地） 語彙の獲得（単語辞書）

マルチモーダルな知能ロボットを作る

※この発表におけることばの定義

• 「概念」≡知覚情報のクラスタリングによって形成されたカテゴリ
• 「語彙」≡音声認識・単語分割で使用する単語辞書

• マルチモーダル≡視覚／聴覚／触覚
  
  
  ＜設計＞

• アルゴリズムとしてMultiModal LDAを活用

• 完成したロボットは取得したマルチモーダル情報から67個のサンプル個体を分類できた
  →センサーつきのロボットも概念の獲得ができるのでは？

• マルチモーダル情報として単語を追加
  →単語も含めたマルチモーダル概念を形成

語彙獲得問題

• 語彙がないために、音声を正しく認識できないということ
• 単語の切れ目がわからない
  →突破口は、言語的知識と概念を相互学習することで解決。　言語のパターンに基づく単語分割。

理論体系

• 物体カテゴリ$K$と言語モデル$L$が結びついたモデル
• ノンパラメトリックベイズの導入→物体のカテゴリ数を自動的に決定
• オンラインで逐次的に物体を学習することができる
• ギブスサンプリング →概念・語彙・単語と概念の結びつきを教師なしで学習できる

パネル・ディスカッション

「人工知能に発達は必要か？」

　中村氏から

• 発達の定義設定≡学習を繰り返して性能が上がること
• 音声獲得
• 学習によるモデル構造（カテゴリ数）の変化（カテゴリ数推定があると学習精度が上がる）
• 単純なモデルから複雑なモデルに移ると、いらない局所解に陥ることはない（92年エルマンの論文）
• バッチ学習では必要ないが、オンライン学習ではモデル変化重要

パネルディスカッション

• 心理学上の「発達」→質的に違うところにいく（機械学習の学習性能の向上とは異質のもの）
  例1：物にカバーをかけられる。存在が「ない」のではなく、「隠されている」という点に気付くということ
  例2：ハイハイ・立ち上がりの経験や学習が十分されていないけど、ある日突然できるようになる
• 発達には「臨界＝できる／できないの閾値」がある
  →突然変異的な変化がでるような仕組みができると面白そう（Agentと強化学習？／GA？）
• 学習で性能が上がる→メタ学習、学習の効率性が上がった、で終ってしまう（発達した学習ではない）
• 「教える」ということを軽く考えているのでは？
  →教師あり学習が発達し、機械が機械を教えるようになれるかどうか
• 子供の脳科学的解明は、発達の理解に役立つのでは？
  →脳波は計測データが少なく、知見の獲得が難しい。（子供の脳波はノイズが多く、解析も難しい）
• 全脳アーキテクチャにおける「汎用性」の意義（機能的な汎用性）を改めて考える
  →赤ちゃんは役に立たない汎用性を持っている