はじめに

AWS Glue作ったParquetのデータがあってこれをなんとかGCPにもっていきたかったのでコピーする方法について調べました。

以下はとあるバケットのデータ。Parquetで8.4GB元のテキストデータは70GBくらいですかね。これをGCPのCloudStorageにもっていこうと思います。

AWS IAM Roleを作る

GCPがAWSにアクセスできるようにIAM Roleを作ってあげます。

まずは以下のリンクを開いてGCPプロジェクトのサブジェクトIDを取得します。プロジェクトIDは自身で指定したものを入力してください。

AWSのIAMを開き、ロールの作成→ウェブアイデンティティ→Googleを選択します。Audienceには先ほど取得したサブジェクトIDを指定します。

ポリシーは以下を設定します。（バケット名は適宜修正してください。）

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:Get*",
                "s3:List*",
                "s3:Delete*"
            ],
            "Resource": [
                "arn:aws:s3:::uzresk-opendata",
                "arn:aws:s3:::uzresk-opendata/*"
            ]
        }
    ]
}