本記事は下記の続きです。
経営、方針など
2018年5月のGoogle I/Oで、AI研究部門をGoogle AIという新組織に統合しGoogle Researchを廃止することを発表した12。
Google Researchという基礎研究的な名称からGoogle AIという具体的な名称に変更することで、最終製品が念頭に置かれているという見方もある3。
また、2017年4月に米国国防総省が開始した、機械学習とデータフュージョン技術を用いて、ドローン映像や衛星画像、赤外線センサーなどのデータを分析するProject Mavenに、当初からGoogleが技術パートナーとしてドローン画像の分析に関するAIの専門知識を提供をしていたことに対して、
2018年6月に4,000人を超えるGoogle従業員が、Googleが戦争技術の開発に関与しないよう求める嘆願書へ署名した45。
これを受けて、Googleは、国際規範に違反する、あるいは危害を及ぼす可能性のある兵器や監視へのAI応用を追求しないことを明確に規定した一連のAI原則を発表した67。
これらの原則は、GoogleのResponsible AIの基盤となった。
Cloud AutoML
Googleは2018年1月にCloud AutoMLというクラウドベースの機械学習サービスを発表した8。これは、プログラミングや機械学習の専門知識がないユーザーでも高精度なカスタムAIモデルを構築できるようにすることを目的としている9。特に、AI専門人材が不足している業界や中小企業でも機械学習を活用できるよう設計されている10。
Cloud AutoMLは、AutoMLの研究成果であるニューラルアーキテクチャサーチ（NAS: Neural Architecture Search）技術を実用化したものであり、Google Brainの研究をもとにした実装が背景にある11。このサービスでは、以下のような分野別プロダクトが提供された：
- AutoML Vision（画像分類および物体検出）12
- AutoML Natural Language（テキスト分類や感情分析）13
- AutoML Translation（特定用途の機械翻訳モデル）14
- AutoML Tables（構造化データの予測モデリング）15
これらのプロダクトは、Google Cloud Platform上でGUIベースで操作可能となっており、データのアップロードから学習、モデル評価、デプロイまでをシームレスに実行できる16。さらに、GoogleのTPUやGPUなどの高性能計算資源を活用し、学習時間を短縮しつつ高精度を維持する設計となっている17。
Cloud AutoMLは、Googleが推進する「AIの民主化」の一環として位置づけられており、クラウドコンピューティング環境を通じてAI技術を多くのユーザーに届ける戦略の中核を担っている18。
BigQuery ML
Cloud AutoMLがノーコード・ローコードによる機械学習を実現する一方で、BigQuery MLはSQL文だけで機械学習モデルの構築と予測ができるサービスとして2018年7月に発表された19。このサービスは、Google Cloudの大規模データウェアハウスであるBigQueryと統合されており、データを移動することなく、モデリング、トレーニング、推論をすべてBigQuery内で完結できる20。
BigQuery MLでは、線形回帰、ロジスティック回帰、DNNClassifierなどのモデルが、以下のようなSQL文で簡単に作成できる：
CREATE OR REPLACE MODEL `mydataset.mymodel`
OPTIONS(model_type='linear_reg') AS
SELECT
feature1, feature2, label
FROM
`mydataset.training_data`;
このように、既存のSQLスキルを活かすことで、データアナリストや業務担当者でも本格的な機械学習モデルを構築できる。また、BigQueryの分散処理基盤により、大量のデータでも高速に学習と予測が実行可能であり、スケーラビリティと生産性の両立を実現している。
Universal Transformers
2018年8月、Google BrainのチームからUniversal TransformersというAIモデルが発表された21。2017年に発表されたTransformerから主に下記の要素が追加され、Turing完全であることが証明されている22。
- Recurrent blocks
- EncoderとDecoderの出力を再帰的にSelf Attentionで処理し解釈を洗練する
- 処理回数を動的に決める場合は、Adaptive Computation Time（ACT）というメカニズムで決定することができる
- Shared Parameters
- Transformerのように各レイヤーに異なるパラメータを持たせるのではなく、同じパラメータのレイヤーを複数回利用することでモデルサイズを低減している
BERT
2018年10月、Google AIから、BERT（Bidirectional Encoder Representations from Transformers）と呼ばれる言語モデルが発表された。トークンのEncodeを行う際、文脈を考慮する言語モデルは存在したが、BERTは初めての双方向文脈モデルである。
I accessed the bank account.という文章中のbankをEncodeする際、従来の文脈を考慮する言語モデル（同時期に発表されたOpenAIのGPTもこのモデル 参考: OpenAI（2. 2018~2020年ごろ：GPT1.0〜GPT3.0））はI accessed the という単方向の情報のみを考慮していたが、BERTはI accessed the と account.`の双方向の情報を考慮する。
それ前のトークンをもとに次のトークンを予測するというアプローチは単純だったが、双方向のトークンをもとにするのは難しく、Google AIはデータセットの文章の一部にマスクをかけて学習させることでBERTを成功させた。
BERTは、質問応答（SQuAD）、自然言語推論（MNLI）、固有表現抽出といったタスクにおいて、従来のモデルを凌駕する性能を発揮した上で、扱いやすく早くファインチューニングできるという特徴から、自然言語処理の分野で広く用いられた。
続きはこちら
-
Google goes all-in on artificial intelligence, renames research division Google AI ↩
-
3 Years After the Project Maven Uproar, Google Cozies to the Pentagon ↩
-
Google launches Cloud AutoML to automatically build custom AI models ↩
-
Google's Cloud AutoML And Its Push To Democratize Point And Click AI For All ↩
-
Google’s AutoML lets you train custom machine learning models without having to code ↩