More than 5 years have passed since last update.

Google Cloud Next'18 in Tokyo 参加レポート

Posted at 2018-09-28

イベント名： Google Cloud Next'18 in Tokyo
日程：2018/09/19 ~ 2018/09/20
参加し、参考になったセッションをここに記載
全体感想：
- 技術：すでにGCPを使っていますので、PR的な講演などちょっと行かなくてもいい感じがしていますが、一部のセッションに、事例、使い方など勉強になった部分もあります。特に機械学習を使うべきなのか、ビジネスサイドとの絡み方、PDCAサイクルの注意点などです。また、データチームの課題になった部分は、HandsOnで解決案を頂いているので、有意義だと思っています。
- 会場：今回はホテル２つで別れていて、移動に時間コストが結構あるので、セッションにギリギリになっちゃって、参加者としてはちょっとストレスが溜まりやすいと思います。ただ、案内者が多く、丁寧に説明してくださっているので、いい感じです。ランチセッションに弁当がついていてるものの、案内がなく、参加していない方は迷いやすいと。アプリの提供非常に助かります。ただ、会議室の表示一個ずつ押さないと部屋番号がわからないので、それは非効率な部分です。プリンスホテルのEXPOにいくのに都度QR Codeスキャンは必須なので、不便と感じています。トイレが少なく、行列長い。

------------------Day1 ------------------

基調講演

Google Next in Tokyo イベント参加者が増加
→ 2000人 (2016) → 12000人 (2017) → 22000人 (2018)
Google Cloudは、日本において、主に５つ領域に投資

Datacenter (Tokyo & Osaka)
More under sea cables in Asia
Bigquey Tokyo region
Training documentation in Japanese (これみんな拍手。結構待っているような感じ)

Traditional company are accelerating
Change or Die → これめっちゃ強い。でも、ビジネスって、本当に競争激しいですね...
Why choose Google ?
- enterprise and technology company. ex: TPU, AI 技術
- Security, cyber attack. ex: more than 30 security products
- GSuite. ex: 99.9% spam/attack was blocked
- Job matching. ex: easily adopted for every company
Fast Retailing : 有明プロジェクト(柳井さん)
- お客様の満足のため、早く失敗して、情報を集める→決断
AI engineer speaking:
- Simple / Fast / Useful
- BigQuery ML / CLOUD AI: TPU 3rd generation developing. CloudMachineLearning engine (full manage)
- Cloud autoML: 自動生成モデル
G Suite セッション
- Secure / Smart / Simple
- Gmail smart reply (analyze mail and provide three quick responses)
- Gmail smart compose (complete automatically)
- Google document: 自動文法spelling check
- ワークインサイトダッシュボード
事例(KARTE)
- Web site: personal visualization (behavior and emotion) real time ex: online アンケートの結果によるレコメンド
- 秒間22000イベント GCP BigTable & BigQuery

セッション：「"JapanTaxi" アプリを支えるデータ分析基盤」12:00 ~

Japan taxi Insights: 車両リアルタイムで解析
- 渋滞、顧客多め、空車状況
- 地理情報、ある範囲の台数
- 五億六千行データ：たったの5秒で結果が出る
- スキャン400MB
サーバーレス
- Dataflowで整形、位置座標変換、BigQuery(GeoJson, Polygen) で範囲内有無判断
- 日本測地系 / 世界測地系の考慮
- ST_Intersection関数
リアムタイムに位置情報表示
- Cloud FireStore (Client にreal time 送信)
- Map Platform API(Java)
コスト
- 2000 USD/month
- 2 weeks development
- Serverless
JapanTaxi
- 100人社員
- 500万DL 配車アプリ注文、決済
- ミッション:
  1. 意思決定支援
  2. AI 配車：Driver can approach to crowded area via map dashboard
  3. 分析
    配車情報、決済、位置情報、ユーザー、アプリログ
    例、タクシーの遅延データ分析 / ドライバー分析 / 営業効率のため
- 基盤：
  - AWS KINESIS > Dataflow > Pubsub > S3 , Big Query & app engine
  - Marketing: SQL
  - MANAGER: BI TOOL, tableau
  - GCP CENSUSでテーブルの利用をわかる
  - テーブルmaintain(利用者、頻度...)
- 展望: ドライバーレコーダー画像分析

セッション：「ビジネス視点で考える現実世界の機械学習とデータサイエンス〜 AI をブラックボックスにしないデータ活用術〜」 13:20〜

Deep learning: 非構造化データには発揮
- 画像、音声、自然言語
- 20年前から
事例：データセンター冷却コスト40%低下, PUE電力効率15%改善
ビジネス活用
- 予測処理が中心
- 過去のデータを元に
- ただ、ビジネスって、どうすればいいのかという判断が大事
- ビジネスオーナー: 機械学習って、何ができるのか
- データアナリスト: 何をしたいのか
- ステップ1&2、何が起きていたか(統計).何が起きているかというダッシュボード
- ステップ3、今何をするべきか
故障検知の事例
- Cloud PubSub : Real time収集、各機械の温度などのデータ
- BigQuery: 過去データ分析
- Datalab にてJupyter notebookで分析
- 時系列可視化→調子が悪い箇所があるようです。分布を見る、histgram → ３つの温度パターンがあるとわかった。
- 稼働なしの低い温度、正常、高すぎる温度
- Datastudio: Dashboard アラート回数など
- 機械学習: BigQuery MLで、その次のステータス予測、さらにダッシュボード化
- 壊れそうなのかを予測
機械学習の進め方
- 必要な知識と人材
- データサイエンティスト:適切な情報を割り振る。全てのプロジェクトを横断で、リーダーになって、プロジェクトをリードする
機械学習結果
- 継続的に試行錯誤、再学習が必要
- 世界が変化するので、モデル利用期間は限定
- ビジネスからのフィードバックループが必要
- モデルの理解を深めて精度を上げる

セッション「AutoML で始める機械学習」14:10〜

事例：部屋探しサイトの写真のタグ
- キッチン/トイレとかの自動認識
- AutoML VISION限界 :
  - 画像分類できる
  - 物体検知できない
  - セグメンテーションできない
事例：ラーメン画像学習
- ライバルに悪意のフォーの画像を除去したい
- データアップロード、訓練、精度確認93%
- ただ、フォーの半分は、ラーメンに誤認識
- 原因は、評価指標？データの偏り？→ 混同行列でみて、これだとわかった

HandsOn：「GCP で実現する、ハイブリッドクラウド環境でのデータ連携パターン（実践編）」

すごく大事な情報を手に入れました：Pubsub→BigQuery/CloudStorage もともとPythonのテンプレートがなっかたが、このHandsOnでいただきました！
書類

------------------Day2 ------------------

基調講演

Google network
- 2 years: 12 regions built
- DDos攻撃を防止
- Cloud Armor
  - SQL injection / DDos 攻撃をブロック
  - BigQueryML自動検知ipをブロック
会社事例-コロプラ
- ゲーム会社(Google Partnership)
- GCP移行：GKE, cloud spanner 採用
- SRE Work Shop: Googleからの提案
80%企業は、マルチクラウドを使っている
- サーバーコスト削減一方、管理コスト上がってる
コンテナKubernetes
- Auto-scale、負荷分散
- 75%企業採用
- 問題: GKE間の認証、通信の安全→Istio 1.0 で解決
- CSP: cloud service platformは、上記の結合
  - セキュリティ、可視性あり
Server-less
- 使った分課金
- 管理する必要がない
開発
- 誰も開発したい
- 誰もメインテインしたくない
- Google DevOps culture (development operation)
  - Container registry
  - Skaffold: 自動deploy build
  - Cloud build: GitHub と連携、自動検証テスト、自動本番にビルド
  - Stack Profiler : 監視ダッシュボード、各関数メソッドの実行時間と関連性をモニタリング、問題点を見つける
セキュリティ
- Interconnect: 自社セキュリティ環境とGCPの通信連携
Gsuite
- Mail: fishing 検知、有効期限、パスワード設定
- Work Insight (launched yesterday)

セッション：「ビジネスに貢献する効果的なデータアナリティクス実践事例集」

GCP Data & Analytics
メルカリ：樫田さんかしださん hik0107(twitter)
- 一億ダンロード
- BI TEAM = Data Analytics Team
- DATA CULTURE：PDCA速い！何かのリンクででも結果を出す
  - データ・ドリブン
- Looker！ツール！入れ替え中！
- Big Query: Flat rate を導入済み
- BigQuery>> GAS>> Zapier でslackに投稿
LIXIL
- Private DMP構築
- 建材年間 1・7兆
- ClientID を実装で、GA&BQ連携解決
- Online Offline もClientID
MonotaRO
- 関節資材、eコマース
- 100億レコード
- データ基盤を置き換えた結果
  - SQL学習人数も四倍増えた
  - 高速にレポートを見れる人が増えた
  - 自らSQL四十人に改善意欲学習意欲

(グロービス課題)

レポートは少人数
PDCA速度
ビジネスサイド連携の強化
AB testあたり

セッション：「リクルートライフスタイルにおける深層学習の活用とGCPでの実現方法」- 堀澤さん horiken4

基盤システム
コードスタートを解決
- 旅行プランに行ったことユンザーに対して、宿の閲覧で解決
- 写真フォートを見たことないユーザーは、convolutions DAE で解決

Expo： (Looker)

ビジネス定義をし、フォーマットを決め、正規化できるダッシュボードサービス。その後は、特に気にしなくてもいい。すなわち、基本的な変数の定義を明確にして、その後は自動SQL生成。

年間200万円(10人)
GitHub 管理でき、定義ズレを防ぐ
今月日本オフィス

Expo：(Google People Analytics)

GSuiteを元に、ファイルの利用回数、編集ログと利用状況を活用、タレントに使う？
https://rework.withgoogle.com/jp/subjects/people-analytics/
https://www.pronoiagroup.net/

セッション：「大塚製薬のこども向け食育アプリ「おいしいおえかき SketchCook」での機械学習活用」14:40 〜

大塚製薬
1. 医薬品関連
2. 病気にならない製品例、calorie mate
親世代の課題と悩み:
- 子供の偏食、食育時間、栄養バランス
- Sketch Cook アプリ
  - 子供の描いたものは、実際に画面上にものとしての再現 (AR)
  - 栄養を学べる
  - 画像変換変身(写真風に変換:pix2pix & GAN(generative adversarial network)
  - 画像分析材料(SRGANで画像を高精度化解像度)
  - 足りない部分を提案
  - レシピを含め

セッション：「BigQuery を使用した分析基盤の運用を進めていく上で見えてきた課題、乗り越えてきた軌跡」16:00〜山田さん

LIFE EVENT / LIFE STYLE
3300 正社員
100 エンジニア
BQ: 90% 時間省いた
昔、キャパシティ管理辛い、マルチクラウド、運用コスト高くなりアカウト管理も
Why BQ?
- キャパシティ管理不要
- インフラから解放
- データの受け渡しが簡易
- データ活用の民主化
- 構造把握しやすい基盤
- 親和性
BQ運用
- 社内勉強会
- メタデータ管理: METAL KING
- Datalake構成
基盤のアーキテクチャ滝井さんフリーランス
1. イベントドリブン
2. オートスケール SQSmessage の増減に応じる
3. ジョブの開始完了プロセス分離
補足の有用情報
- Atom Packageを使う : sql-BigQuery
- 大規模テーブルの参照料金問題:require partition filter 機能
- ロード機能がエスケープ非対応文字処理で、2018／04 DDLがサポート
- ユーザー自由にテーブル作成料金問題:データセットに、テーブル有効期限を設定