Google Brain発足

検索エンジン大手Googleは、2001年ごろウェブ検索でより適切なスペルを提案するためのスペル訂正、2006年にリリースされたGoogle翻訳などに機械学習モデルが開発された¹。Googleの共同創業者の一人であるLarry Page氏は、"The perfect search engine should understand exactly what you mean and give you back exactly what you need."（Google翻訳：完璧な検索エンジンは、ユーザーが何を意味しているかを正確に理解し、ユーザーが必要としている情報を正確に返す必要があります。）と述べており、そのビジョンに向けて機械学習の技術を用いて一歩を踏み出した事になる²。この頃、GoogleのR＆Dを担うGoogle Researchでは、N-gram言語モデルを用いた、統計的なスペル訂正や機械翻訳が主な技術だった³。
N-gramはN個の単語のシーケンス（例えば、2-gramは「This is」「is a」「a great」「great song」のような2単語のシーケンス）であり、N-gram言語モデルは、N-1個の単語からN個目の単語を予測するモデルで⁴、統計的機械翻訳、音声認識、スペル修正、エンティティ検出、情報抽出など、Google Researchの様々な研究開発プロジェクトに用いられた³。

N-gram language models

2010年に設立された自動運転をはじめとした破壊的技術の研究を行うGoogle Xで⁵、2011年にGoogleのJeff Dean氏、Greg Corrado氏、およびスタンフォード大学教授のAndrew Ng氏がGoogle Brainというプロジェクトを設立し⁶、Googleの第一世代の機械学習システム（数千コアの分散コンピューティング環境で機械学習を実行する基盤ソフトウエア）DistBeliefの開発⁷⁸、翌2012年にはニューラルネットワークを非常に小規模な「新生児の脳」をシミュレートするものと捉え、教師データを用いずにYouTube動画を1週間見せると猫の写真に、強く反応するようになったことを発見など⁹¹⁰。

The architecture of neural network that recognize "Cat"

Word2Vec

Google Brainは2012年中にGoogle Xを卒業してGoogleに移り¹¹（おそらくGoogle Researchに所属したと思われる）、2013年3月にニューラルネットワークの研究企業DNNresearchを買収し¹²、Geoffrey Hinton氏、Alex Krizhevsky氏、Ilya Sutskever氏がGoogle Brainに加わった¹³。また、同年にTomas Mikolov氏も加わりWord2Vec¹⁴と呼ばれる、ニューラルネットワークに基づいて自然言語をベクトル化する単語埋め込み（Word Embedding）を行う言語モデルは、N-gram言語モデルを大幅に上回る性能（例えば、Microsoft Sentence Completion Challengeの精度において、4-gramで39%、提案手法で58.9%）を示した¹⁴¹⁵。

Word2Vec architecture

Seq2Seq

また2014年9月、Google BrainのIlya Sutskever氏などによりSeq2Seqと呼ばれるモデルが発表された¹⁶。Seq2Seqは、RNN（Recurrent Neural Network）の一つであるLSTM（Long Sort Time Memory）を用いて、入力文字"列"をエンコードし、隠れ層を経てデコードすると言うEncoder-Decoder構造をとる⁴。単語ごとにベクトル化するWord2Vecと比べて、ネットワークが文脈情報を加味できる点が大きな利点といえる。

Seq2Seq architecture

DeepMind買収

2014年1月、Googleは英国ロンドンのAI企業DeepMind Technologiesを約5億ドル（約510億円）以上の巨額で買収した。この買収にあたって、GoogleとFacebookの間で価格競争が繰り広げられたと見られている¹⁷。
DeepMind社は、機械学習とシステム神経科学の技術を使って強力な汎用学習アルゴリズムを構築すると言うビジョンのもと、強化学習とディープラーニングを組み合わせた技術で、AIにAtariというゲームを人間と同等、あるいはそれ以上のレベルでプレイできるようにさせたことで有名であり¹⁸¹⁹、Googleとしては、DeepMindの人材を獲得するのが主目的だったと言われている²⁰。

Deep Reinforcement Learning in Atari

また、DeepMindは倫理委員会の設置を「強く求め」「主張」しており、Googleはこの構想に難色を示したが²¹、倫理委員会の設置した²²。