More than 3 years have passed since last update.

GCP アップデート (3/6-3/12 2020)

Last updated at 2020-03-12Posted at 2020-03-06

Dataflow SQLがベータになったよ!以下が出来るように。
- 2つの出力先を指定できるように！Pub/Subも出力先として追加。
- BigQueryに書き出す際に、空だったら追加、上書き、追記等が選べるように。
- パイプラインオプションをUIから変更できるように。

GCSバケットに一時的に権限を与えられるshort-lived credentialで、バケットと権限のペアを指定できる、Credential Access Boundariesがベータになったよ！

コンソールからクラスタを作成する画面のデザインが変わったよ。
Cloud Buildを利用して既存のGKEワークロードを自動デプロイ出来るようになったよ！
新しいバージョンのお知らせ
- 1.13.12-gke.25は1.14.10-gke.17に、1.14.8, 1.14.9は1.14.10-gke.17に、1.15.7, 1.15.8-gke.2は1.15.8-gke.3に上がるよ。
- 1.16はもうすぐregularチャネルになるよ。

ログのアグリゲーションをしてテンポラリバケットにログを吐いてくれるdataproc:yarn.log-aggregation.enabledプロパティが追加されたよ。ログの出力先はyarn.nodemanager.remote-app-log-dirで変更可能。
サブマイナバージョン(1.2.92-debian9, 1.3.52-debian9, 1.4.23-debian9, 1.5.0-RC8-debian10, 1.3.52-ubuntu18, 1.4.23-ubuntu18, 1.5.0-RC8-ubuntu18)リリース。
ステージングバケットに加えて、機能に関するデータを90日(リテンション付き)保存する、テンポラリバケットをプロジェクト/リージョンごとに追加。
- 名前はdataproc-temp-<REGION>-<PROJECT_NUMBER>-<RANDOM_STRING>
- 合わせてステージングバケットの名称がdataproc-<UUID>-<REGION> to dataproc-staging-<REGION>-<PROJECT_NUMBER>-<RANDOM_STRING>になる。
1.5: Cloud Storageコネクタが2.0.1にバージョンアップ。
1.3,1.4,1.5: Component Gatewayが特定のブラウザでリロードした際に追加のバナーが表示されていた問題が修正。

Prediction
- Runtime v2.1が使えるようになったよ。
- v2.1でGPUを利用するとTensorflow 2.1じゃなくて2.0が利用される。(将来修正予定。)
Training
- Runtime v2.1が使えるようになったよ。
- scikit-learnが0.22.1じゃなくて0.22が利用される。(将来修正予定。)
2.1でPython2廃止や分散時の環境変数等変わってる部分がいくつかあるので、利用している場合は要確認。