Cloud Data Transfer
について書きます。
Professional Data Engineerのガイドの割と最初のほうに
1.4 データ ウェアハウジングとデータ処理を移行する。以下のような点を考察します。
・現状認識と将来の設計への移行方法
・オンプレミスからクラウドへの移行(Data Transfer Service、Transfer Appliance、Cloud Networking)
とありますが、違いがよくわかりませんよね。
データ転送の話になるとネットワークのことも考える必要があり、そのサービスも簡単に把握しておきたいです。
https://cloud.google.com/products/data-transfer
に一連のサービスがまとまっています。
- Data Transfer Servicesの中に
- Transfer Serivce
- Storage Transfer Service: Free
- For On-Premises: $0.04/GB
- Transfer Appliance
- BigQuery Data Transfer Service がある感じです。
- Transfer Serivce
データ移行の概要はこちらです、流し見しましょう。
https://cloud.google.com/solutions/migration-to-google-cloud-transferring-your-large-datasets
セキュリティ
at rest と in transit で基本的に暗号化されますが、最初アクセスするときなどは注意です。
Product | Data at rest | Data in transit |
---|---|---|
Transfer Appliance | All data is encrypted at rest. | Data is protected with keys managed by the customer. |
gsutil | Access keys required to access Cloud Storage, which is encrypted at rest. | Data is sent over HTTPS and encrypted in transit. |
Storage Transfer Service for on-premises data | Access keys required to access Cloud Storage, which is encrypted at rest. The agent process can access local files as OS permissions allow. | Data is sent over HTTPS and encrypted in transit. |
Storage Transfer Service | Access keys required for non-Google Cloud resources (for example, Amazon S3). Access keys are required to access Cloud Storage, which is encrypted at rest. | Data is sent over HTTPS and encrypted in transit. |
それぞれの勉強メモ
- Transfer Service
- Transfer Appliance
- BigQuery Data Transfer Service To Be Linked