Qiita Teams that are logged in
You are not logged in to any team

Log in to Qiita Team
Community
OrganizationEventAdvent CalendarQiitadon (β)
Service
Qiita JobsQiita ZineQiita Blog
0
Help us understand the problem. What are the problem?

Cloud data fusionのインスタンス立ち上げ

これは何

Cloud data fusionの導入までを描いたメモです。
実際にデータを移行させたわけではなく、立ち上げのみです。

Cloud data fusionとは

studio-deploy.png

クラウドデータをあらゆる規模で統合するためのツールです。
コード等を意識せず、マウスだけで視覚的に操作できるインターフェースによって、ETL(Extract/Transform/Load)パイプラインをデプロイ可能です。

Cloud data fusionインスタンス立ち上げ

リージョンをasiaではなく、us-とかにすると、HUBの立ち上げに恐ろしく時間がかかったので、asiaにしました。
最新版だとサービスアカウントのところで、権限エラーが発生。

スクリーンショット 2021-09-09 14.16.48.png

スクリーンショット 2021-09-09 14.16.56.png

スクリーンショット 2021-09-09 14.17.53.png

今回はテスト的な導入で使いたいだけで、最新版である必要がないのでバージョンを6.1.4にします。
作成に20分くらいかかります。

インスタンスを表示を押下します。

スクリーンショット 2021-09-09 14.36.11.png

Studioを押下

スクリーンショット 2021-09-09 14.40.20.png

総括

インスタンスの立ち上げは成功しました。
今回はETLパイプラインを作成してはいませんが、作成したらまたまとめます。

なお、Google Cloud が提供してくれている、以下の小さなサンプル データセットをローカルマシンにダウンロードして、パイプラインを作ることもできます。

配送データのクレンジング
https://cloud.google.com/data-fusion/docs/tutorials/sample_datasets/shipment-data-cleansing-cdap-data-pipeline.json?hl=ja
米国での配送遅延
https://cloud.google.com/data-fusion/docs/tutorials/sample_datasets/delayed-shipments-us-cdap-data-pipeline.json?hl=ja

参考

https://cloud.google.com/iam/docs/understanding-service-accounts?hl=ja
https://cloud.google.com/data-fusion?hl=ja
https://cloud.google.com/data-fusion/docs/tutorials/lineage?hl=ja
https://qiita.com/t-yotsu/items/5d3d36847fbc71b72b76
Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
0
Help us understand the problem. What are the problem?