Cloud Data Transfer

について書きます。

Professional Data Engineerのガイドの割と最初のほうに

1.4 データ ウェアハウジングとデータ処理を移行する。以下のような点を考察します。
・現状認識と将来の設計への移行方法
・オンプレミスからクラウドへの移行（Data Transfer Service、Transfer Appliance、Cloud Networking） 

とありますが、違いがよくわかりませんよね。
データ転送の話になるとネットワークのことも考える必要があり、そのサービスも簡単に把握しておきたいです。

https://cloud.google.com/products/data-transfer
に一連のサービスがまとまっています。

• Data Transfer Servicesの中に
  • Transfer Serivce
    • Storage Transfer Service: Free
    • For On-Premises: $0.04/GB
  • Transfer Appliance
  • BigQuery Data Transfer Service がある感じです。

データ移行の概要はこちらです、流し見しましょう。
https://cloud.google.com/solutions/migration-to-google-cloud-transferring-your-large-datasets

セキュリティ
at rest と in transit で基本的に暗号化されますが、最初アクセスするときなどは注意です。

Product	Data at rest	Data in transit
Transfer Appliance	All data is encrypted at rest.	Data is protected with keys managed by the customer.
gsutil	Access keys required to access Cloud Storage, which is encrypted at rest.	Data is sent over HTTPS and encrypted in transit.
Storage Transfer Service for on-premises data	Access keys required to access Cloud Storage, which is encrypted at rest. The agent process can access local files as OS permissions allow.	Data is sent over HTTPS and encrypted in transit.
Storage Transfer Service	Access keys required for non-Google Cloud resources (for example, Amazon S3). Access keys are required to access Cloud Storage, which is encrypted at rest.	Data is sent over HTTPS and encrypted in transit.

それぞれの勉強メモ
- Transfer Service
- Transfer Appliance
- BigQuery Data Transfer Service To Be Linked