本記事は下記の続きです。

経営、方針など

Googleは2019年、AIの実用化を進めている。
その代表例が、2019年10月に発表された自然言語理解を飛躍的に進化させたBERTのGoogle検索への統合である。従来は難しかった「検索文の文脈理解」が可能になり、ユーザー体験が大幅に向上。「過去5年で最大の飛躍」とGoogle自らが評価した¹。
さらにAutoML技術により設計された画像分類モデル EfficientNet を発表し、従来よりもはるかに少ないパラメータ数で最高精度を達成するなど、AutoMLの商用化と研究展開を強化した²。

EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks

また、2019年3月、AIに関する倫理的責任を明確にするため、AIの公平性、安全性、社会への影響について第三者視点から助言を行うことを目的とした、外部の専門家による諮問委員会「ATEAC（Advanced Technology External Advisory Council）」の設立を発表した³。しかしその直後、ある委員の政治的・社会的立場に対する強い批判が社内外で巻き起こり、Google社内では数千人規模の反対署名が集まった。その結果、委員会は設立からわずか1週間で解散されるという異例の展開を迎えることとなった⁴。

TCAV

Google AIは、機械学習モデルに責任を持たせるためには、モデルの予測に対して人間が理解可能な概念がどの程度影響しているかを定量的に評価する手法が重要であるとし、Google AIはTCAV（Testing with Concept Activation Vectors）を開発し、2018年にICMLで論文が採択され⁵⁶、2019年のGoogle I/Oで言及された⁷。

Google AIはこうした課題に対して、解釈可能性（Interpretability）というキーワードを掲げている

CAV（Concept Activation Vectors）は、機械学習モデルの解釈可能性や説明可能性を向上させるための研究（SHAP、Saliency Map, Grad-CAMなど）に比べて、人間が定義する「意味のある概念」（例えば、性別や人種といった人間に分かりやすい概念）が予測に与える影響を定量評価を可能とするベクトルである。
TCAVの仕組みは、下記のステップである⁸。

学習させたい概念画像（図中の(a)上段の縞模様）と、関係ないランダムの画像（図中の(a)下段）を集めてくる
- 論文の例で言うと、概念画像が縞模様の画像
概念画像とランダム画像を学習済みの機械学習モデル（図中の(c)）へ入力
そのモデルの中間層（図中の$m$）のベクトルを得る
得られた中間層のベクトル（図中の(d)の$f(画像)$）を、概念画像とランダム画像を分類するようにSVMなどの線形分類器を学習
- 分類境界に直交するベクトル$v_{C}^{l}$（図中の(d)赤矢印）が CAV
予測したい画像（図中の(b)）での中間層のベクトルのCAV方向に関する方向微分を計算
- $f(画像)$の$v_{C}^{l}$方向の方向微分は、$f(画像)$と$v_{C}^{l}$の内積（図中の(e)の右辺）で求められる
感度が正のサンプルの割合をTCAVスコアとして得る
- 概念方向（CAV）に沿って特徴を変化させたとき、中間層のベクトルがどれだけ変化するかを見ることで、その概念が予測にどんな影響しているかを判断する
- 例えば、縞模様の概念画像でCAVを取得した後、シマウマの画像を予測するときの中間ベクトルとCAVの内積をとって正の値だった場合、モデルは「縞模様があると、ゼブラだと思いやすい」

AlphaStar / MuZero

AlphaStar

DeepMindは、2019年1月にAlphaStarを発表した⁹。AlphaZeroがボードゲームに適用できることに対し、AlphaStarはリアルタイムで複雑な部分観測環境のゲームに適用できる¹⁰。

ここでいう「リアルタイムで複雑な部分観測環境のゲーム」についての補足
DeepMindの発表では、AlphaStarがStarCraft IIと言うリアルタイムストラテジーゲームをプロのプレイヤーをした実例を取り上げている。StarCraft IIは下記の特徴がある。

リアルタイム: 敵も味方も毎秒動く
複雑: 100以上のユニット、戦略、マップ操作
部分観測: 画面で見えてる範囲しかわからない

AlphaStarは、TransformerやResNetを使ってゲームの情報をエンコードし、LSTMに入力することで次状態、取るべき次行動を予測すると言う構造をとる。
そして、ゲームに登場する複数の種族についてそれぞれのAgent(単体のニューラルネットワーク）を用意し、複数のAgentをLeague内で競わせるというマルチエージェント強化学習を行なっている。この際、最初は人間のプレイヤーによるプレイを用いて、Agentを教師あり学習している（模倣学習、Imitation Learning）。

AlphaStar architecture

AlphaZeroとの対比

項目	AlphaZero（将棋・チェス）	AlphaStar（リアルタイム戦略ゲーム）
タイミング	ターン制（相手が動くまで待てる）	リアルタイム（即時に状況が進む）
情報量	すべて見える（盤面は完全に可視）	敵の情報が見えない（霧など）
行動数	数十手	数千の選択肢（同時に複数ユニット）
難しさの性質	論理的・深い探索	適応・スピード・マルチタスク

MuZero

続いて、AlphaZeroの強力な探索および探索ベースの方策反復アルゴリズムを基盤とした新しいゲームAIであるMuZeroが2019年11月に発表された¹¹。MuZeroは囲碁、将棋、チェスといったルールベースの完全情報ゲームやAtariゲームにおいて、ゲームのルールを知らなくてもプレイ戦略を学習できる新しいAIである。

MuZeroは、AlphaZeroと同様のPolicy networkとValue networkと、モンテカルロ木探索（MCTS）を用いてニューラルネットワークの予測を集約し、環境に適用する次の行動を選択するという先読み探索のアプローチを継承している（参考: Google （3. 2017年ごろ：AlphaGo Master/Zero, AlphaZero, AutoML, Transformer））。しかし、AlphaGoやAlphaZeroのよりも複雑なルールのゲームを対象とするため非常に難しいという課題が存在する。
これに対して、環境のダイナミクスの正確なモデルを学習し、それを用いてプランニングを行うモデルベース強化学習という新しいアプローチをとっている。環境全体をモデル化せず、Agentの意思決定プロセスに重要な下記の側面のみをモデル化することで、これを可能とした。

価値：現在の位置はどの程度適切か？
方針：どの行動を取るのが最善か？
報酬：最後の行動はどれだけ良かったか？

これによりMuZeroは、環境から新しいデータを収集するのではなく、学習したモデルを繰り返し使用して計画を改善することもできる¹²。

MuZeroの成果は、従来のルール明示型強化学習を超え、現実世界での意思決定への応用可能性を示唆している。

MuZero Intuition

MuZero: Mastering Go, chess, shogi and Atari without rules

Federated Learning

2016年にGoogle Researchから、クラウドにユーザーデータを集めずに、クライアント（スマホなど）上のデータで機械学習モデルを効率的に学習することを目的とした、Federated Learning（連合学習）に関する論文を発表した¹³。

What is Federated Learning?

通信過程における現実的な暗号化プロトコル設計としても利用可能で¹⁴、2017年にGoogleのキーボードアプリであるGboardで、Federated Learningを用いてユーザーの入力履歴を使った次単語予測モデルの学習を実現した¹⁵。
そして、2019年3月には研究者向けにTensorFlow Federated（TFF）を公開し、分散型学習のフレームワークとして研究コミュニティに貢献している¹⁶。