GCP Next17でビッグデータと機械学習系のサービスに便利な機能が多く追加されたりしてるので、まずは気になったものをメモ程度に記載しておく。
Google Cloud Dataprep
データを前処理するためのマネージド・サービス。データの前処理はデータ分析するために必須で重要な機能なので、とても気になるサービス。Daterepには以下の特徴がある。
https://cloud.google.com/dataprep/
- 自動検知：値がスキーマにあってるかどうか自動で検知する
- ドラッグ＆ドロップ開発：直感的な操作を提供している
- 追加設定なしでBigQueryやGCSと統合
- フルマネージドサービス
BigQuery
Data Transfer Service
Google AdwordsやDoubleClick Campaign Manager, DoubleClick for Publishers、Youtube ContentとChannel Owner reportsから数クイックでデータを取得できる。
Federated query for Cloud Bigtable
GCSやGoogle Drive、Google Sheetsに加えてBigtableにもBigQueryからクエリをかけられるようになった。
Python for Google Cloud Dataflow in GA
DataflowでPythonがGAになった。これまでストリーミング処理はJavaしか対応してなかったが、Pythonでもできるようになった。
Stackdriver Monitoring for Cloud Dataflow (Beta)
Cloud Dataflowジョブ条件によってアラートをあげることができるようになった。
Google Cloud Datalab in GA
DatalabがGAになった。
Google Cloud Dataproc updates
以下の機能が追加された。
- 失敗したジョブの自動リスタート
- シングルノードクラスタが作れるようになった
- DataprocクラスタにGPUを付けれるようになった
- Cloud labelsがGAになった
- Regional endpointsが利用できるようになった
- GCSのオペレーションが速くなった
Cloud ML Engine in GA
Cloud MLがGAになった。
Video Intelligence API
動画に登場するオブジェクトを自動で認識し、タグ付けしてくれるサービス。
https://cloud.google.com/video-intelligence/
Cloud Endpoints
Cloud Endpoints deployment history screen
デプロイ履歴をトラックできるようになった
Cloud Endpoints Proxy gRPC
APIコンソール、モニタリング、ロギング、トレース、認証機能がgRPCサービスに追加された
Cloud Endpoints Java and Python frameworks 2.0 GA
これまではNode.jsだけだったが、JavaとPythonがGAになって使えるようになった。