概要
- GCPのデータ取り込み・移行系サービスを紹介します。
- IT用語を一切使わずに、ITやクラウドについて本当に何も知らない方向けに説明します。
- ただし過去記事で説明した言葉は使います。
データ取り込み・移行系サービス
Pub/Sub
あるシステムで何か操作があったときに、それをトリガーとして別のシステムなどを動かしたいときに使う。
動かす側のシステムが動かされる側のシステムを直接動かそうとすると、
システム同士が強く繋がりすぎてしまって、管理が大変になったりセキュリティが甘くなったりしてしまう。
これを使うとシステム間を中継してくれるので、直接繋がなくてよくなる。
Datastream
仕組みを作っといて継続的に動かす系。
データベースに変更が入ったときに、その変更した分を別の場所に移す。
どこに変更が入ってるかはデータベースが記録を残してるので、そこから判断する。
BigQuery Data Transfer Service
仕組みを作っといて継続的に動かす系。
これは変更があったときじゃなく、事前にいつ取り込むかを設定して、定期的に動かす。
なんらかのシステムからBigQueryに移す。
Database Migration Service
データのお引っ越しをするためのサービス。
それまで別のところで使われてたデータベースから、Google Cloud上のデータベースに移す。
- しばらく停止してもOKなシステムだったら、サービスを止めて一気に移行する。
- もし止められないシステムだったら、元のDBを使い続けながら、新しいDBにも変更を反映していくような仕組みがある。
Storage Transfer Service
ほかの場所に保存されているファイルを、Cloud Storageに転送するサービス。
一回こっきりにも、定期的な転送にも対応してる。
Transfer Appliance
基本一回こっきり。
超！大容量のデータをGoogle Cloud上に移行するのに使う。
専用の機械がGoogleから送られてくるので、受け取ってそこにデータを入れる。
その機械を送り返すと、Googleの施設で取り込んでくれる。
Cloud Data Fusion
いろんなところに保存されてるデータをデータウェアハウスなどにまとめるためのサービス。
基本的には画面をぽちぽちするだけで実施できる。
その他関連サービス
保存サービスがもつ、データを取り出すための機能もちょっと紹介。
Cloud SQLのサーバーレス エクスポート
Cloud SQLに保存されているデータを、Cloud Storageにファイルとして取り出す機能。
「サーバーレス」は、Cloud SQLを動かしているコンピューターとは別のコンピューターを使う。
一時的に用意した別のコンピューターで動かすことで、データベース本体にかかる負担を抑えられる。
BigQueryのエクスポート
BigQueryに保存されているデータを、Cloud Storageにファイルとして取り出す機能。