LoginSignup
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

@akagi_hayato

Google（2. 2015~2016年ごろ：Distillation, AlphaGo, Tensorflow, TPU, GNMT）

Posted at

本記事は下記の続きです。

経営、方針など

2015年のGoogle I/Oで、自社が提供するAndroid、Google Now、Google PhotoなどのサービスにAIや機械学習の技術を利用し始めていることを発表した1。また、10月の第3四半期決算発表では、CEOのSundar Pichai氏は機械学習と人工知能への投資が今後も同社の優先事項であると強調し、AIと機械学習をより多く取り入れるために、すべての製品を「再考」していると言及している2さらに、2016年4月に公開された株主へのレターにて、モバイルファーストからAIファーストの世界へ移行すると言及があるなど3、ますますAIの実用化に向けて注力する意向を示した。

We will move from mobile first to an AI first world.
Sundar Pichai, Google CEO in 20163

2015年8月、Googleの経営陣は、持ち株会社であるAlphabet設立を発表した。Google Inc.のほかに、Calico、Google Ventures、Nest、Google X、Fiber、Google CapitalなどがAlphabetへぶら下がる形になり、多様化しすぎた個々の事業を発展させることが主目的である。Googleは検索事業では大成功を収めていたが、Facebookなどのソーシャルメディアの出現によりウェブ検索からモバイルアプリの需要が高まり、Googleの収益を圧迫していた。45

Distillation

機械学習モデルの性能を上げるため、異なるモデルのアンサンブルや大規模モデルを用いるなどの手法が取られるが、それらが獲得している知識を小規模なモデルへ移行するDistillation（蒸留）という手法を、2015年3月に発表した。
Distillationは、目的関数にSoft target（大規模モデルの出力との誤差）とHard target（正解ラベルとの誤差）の2種類の誤差を含ませることで小規模なモデルを学習させることで、同等の性能を発揮させるという手法である6。


Distillation による学習の全体

Tensorflow

Google社内で用いられてきたニューラルネットワーク向けの機械学習開発システムであるDistBeliefは、設定や外部との連携の煩雑さなどから7、より多様なモデルへの対応、迅速なプロトタイピングと実験が可能なライブラリとして、Tensorflowが2015年11月にオープンソースで公開された8。
この時、Tensorflowは基盤がC++で構築されており、C++に加えてPythonでも利用可能な状態だった9。

AlphaGo

ボードゲームの中でもシステムが複雑な囲碁は、AIにとって大きな挑戦となると言われていた中、DeepMindはディープラーニングと高度な探索アルゴリズムを組み合わせたAIシステムであるAlphaGoが、2015年10月にヨーロッパチャンピオンだったFan Hui氏を、2016年3月に世界チャンピオンだったLee Sedol氏を破った。Fan Hui氏との対局での37手目で1万分の1の確率で使われる独創的な手（Move 37）、Lee Sedol氏との対局の78手目の“God’s Touch（神の手）”と言われる手（Move 78）は棋士にも非常に大きな衝撃を与えた10。
AlphaGoは、膨大な探索空間をより扱いやすいサイズに縮小するため、Policy NetworkとValue Networkという2種類のDNNと、Monte Calro Tree Search（MCTS、モンテカルロ木探索）を組み合わせている11。DNNとM CTSを組み合わせるというアプローチはAIの大きな進歩とされている12。
それぞれの特徴は下記の通り1113。

  • Policy Network
    • 次の手を予測し、探索範囲を絞り込み、賢明な手を提案
    • 人間の専門家がプレイした3000万手を使って学習させ、強化学習により戦略を改善することで、自ら新しい戦略を発見することを学ぶ
  • Value Network
    • 探索木の深さを減らすため局面を評価し、最終的な勝者を予測
    • Policy Networkを用いて学習する
  • Monte Calro Tree Search
    • 適当な回数ランダムに実行してみてその結果から結論を導くアルゴリズム
    • 残りの局面を想像の中で何度も繰り返しプレイすることで先読みを行う

TPU

Googleは、2006年ごろからニューラルネットワーク向けASIC（Application-Specific Integrated Circuit）の開発を検討していたが、2013年ごろにデータセンターの数を倍増させる必要があると判断し、TPU（Tensor Processing Unit）と呼ばれる機械学習用途に特化したASICを開発した。通常であればASICの開発に数年かかるところ、約15ヶ月という短期間で設計から導入までが完了され、2016年に発表された1415。


Tensor Processing Unit board

重要要素（追記の可能性あり）

  • Tensorflow Quantization
  • processing system (CPU vs GPU vs TPU)
  • Systolic Array (MXU)


TPU Block Diagram

GNMT

Google Brainは、従来のGoogle翻訳でも用いられており精度の限界が囁かれていたフレーズベースの翻訳システム16に変わる翻訳システムとして、Google Neural Machine Translation（GNMT）を開発し、翻訳エラーを 60%削減したと発表した17。
GNMTはSeq2Seqフレームワークにアテンションモジュールを加えたもの（Encoderネットワーク、Attentionモジュール、Decoderネットワーク）で構成されている。

  • Encoderネットワーク
    • 入力シンボル（wordpieces）ごとに1つのベクトルを持つベクトルのリストに変換
    • LSTM（Long Short-Term Memory）
  • Attentionモジュール
    • デコーダーが単一の固定長ベクトルだけでなく、エンコーダーのすべての隠れ状態へアクセスできるようにすることで、長い入力シーケンスに効果的に対処する
    • 翻訳生成の各ステップにおいて、モデルは原文の最も関連性の高い部分に動的に焦点を当てることができ
  • Decoderネットワーク
    • LSTM
    • 翻訳された出力テキストを生成
    • 特別な文末シンボル（EOS）が生成されるまで、一度に1つのシンボルを生成


GNMT architecture

  1. Google I/O 2015: Google bets machine learning can create an edge with Android, apps, cloud ↩

  2. Google is 're-thinking' all of its products to include machine learning ↩

  3. This year’s Founders' Letter ↩ ↩2

  4. Why Google Became Alphabet ↩

  5. What is Google’s new company Alphabet and what does it mean for you? ↩

  6. Distilling the Knowledge in a Neural Network ↩

  7. How TensorFlow Came To Be the Most Important Library in Machine Learning ↩

  8. TensorFlow: smarter machine learning, for everyone ↩

  9. Google Just Open Sourced TensorFlow, Its Artificial Intelligence Engine ↩

  10. AlphaGo ↩

  11. AlphaGo: Mastering the ancient game of Go with Machine Learning ↩ ↩2

  12. Monte Carlo Tree Search: a review of recent modifications and applications ↩

  13. 【強化学習】モンテカルロ木探索を解説・実装 ↩

  14. Google supercharges machine learning tasks with TPU custom chip ↩

  15. An in-depth look at Google’s first Tensor Processing Unit (TPU) ↩

  16. Phrase-Based Statistical Translation of Programming Languages ↩

  17. Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation ↩

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?