第１回東京大学ディープラーニング研究会

知人の川上さん＠CMU留学中が発表されるということで参加してきました。

松尾先生＠東京大学は、日本のAI研究の底上げを志しているということがひしひしと伝わってきました。私も、少しでも役に立てればと思いました。

川上さん＠CMUは、Theanoを使って、かなり具体的なDeep Learningの実装方法について説明されていて、これは役に立つと感じました。時間をとって試してみたいです。
川上さんのハンズオンの内容

中山先生＠東京大学のDeep Motionのデモは、生で見れて良かったです。学習に時間はかかるのかもしれませんが、Deep Learningによる実用化が可能だとあらためて感じました。
Deeplearning.jp

また、秋からはじめる予定とアナウンスのあったDeep Learningコースにも期待しています。

[メモ]

場所: 東京大学工学部2号館1階212号講義室
日時: 2015/07/23(木)15:00〜18:00

15:00-15:30 東京大学における人工知能に関する取り組み（東京大学 松尾豊）

顔画像認識で人間の精度を超える

• Marvin Minsky
  子どものできることは難しい

Deep Learning の AI における意味

• AI における 50年来のブレークスルー
• ロバスト性を高めるための計算機パワー
• 初期仮説への回帰

Deep Learning の今後の発展

• 画像（動画）
• マルチモーダル
• ロボティクス
• インタラクション
• 言葉とのひもづけ
• 言語から知識獲得

技術の発展と社会への影響

考えられるインパクト

• ゲーム（ブロック崩し）
• ロボット（穴を通す、蓋を閉める）
• PFI（レーシングゲーム、実機）

未来の社会と産業の構造変化を描く

• 1995年のインターネット
• Google
• Amazon
• Facebook

日本の未来へ

東大生はニーズをしらない
AIはニーズをしる必要がない
人工知能はアルゴリズムなので勝負できる

国内での動き

東大AIラボ、Deep Learningコースを作りたい

15:50-18:00 Deep Learning チュートリアル（カーネギーメロン大学 川上和也）

Deep Learning

CMUでスパイしてきた
機械翻訳、感情推定

Image Recoginition

画像認識
オブジェクト認識、シーンラベリング

Sequene Modeling

POSタギング、音声認識
シーケンス生成

Crazy Applications

Context Free Grammar
Execute programs
Blues（音楽）
Conversion（会話）

Linear & Logistic Regression

• Linear Regression
• Logistic Regression
  • Two-class
  • Multi-class

ロジスティック回帰が理解できればDPもOK

Deep Networks

• Feature Extractor

$a_{1} = W_{1} x + b_{1} $
$z_{1} = \sigma(a_{1}) $
$a_{2} = W_{2} z_{1} + b_{2} $
$z_{2} = \sigma(a_2) $

高校で習っている方程式を多層にしてるだけ

Deep Networks

• Ojective Functions

Training Deep Network = Chain Rule!!

Chaing Rule

• Chain Rule

$\frac{d E}{d W_{1}} = \frac{d E}{d z_{n}} \frac{d z_{n}}{d z_{n-1}} \frac{d z_{n-1}}{d z_{n-2}} ... \frac{d z_{1}}{d a_{1}} \frac{d a_{1}}{d W_{1}}$

Stochastic Gradient Descent

$W_{1} = W_{1} - lr \frac{d E}{d W_{1}}$

いまから、これをコーディングします

Recipe

1. Choose appropriate objective function
2. Find good architecture
   1. Deep Layers
   2. Convolution, Maxpooling
3. Design good optimizer
   1. Adaptive Learning Rate
   2. Weight Decay
   3. Small Learning Rate
4. Initialize parameters (これはほぼカン)

Hands On

• Theano
  微分をしてくれる
  Python で実装できる
  GPU が利用できる

• Tool

theano.grad がめっちゃ使える
theano.shared をインクリメント

15:30-15:50 ディープラーニングとdeeplearning.jpについて（東京大学 中山浩太郎）

Deeplearning.jp 活動概要

計算機環境

輪読会

主な研究テーマ

ハック会

GeSdA を開発

Teano / Pylearn2

• 有名どころは一通り実装されている
• Theano の自動微分が秀逸
• GPU / CPU 切り替えが楽
• YAML のネットワーク定義
• 拡張性が高い

Caffe

• 画像処理では不動
• 高速
• コミュニティ力

Torch7

• Facebookが参入
• Lua -> C
• シンプルに書ける

GeSdA

• GPU
  • Numpy + Blas の5~16倍
• グリッドサーチ
• インタラクティブな可視化
• libSVM形式データ対応

可変長レイヤー数：YAML

グリッドサーチ

DeepMotion (Demo)

まとめ

秋から東大でディープラーニングが学べる場を作ろうと思っている。
Deeplearning.jp へ情報を公開