More than 3 years have passed since last update.

CloudFunctionを使って他のPJのCloudStorageにあるCSVデータをCloudSQLに入れる方法

cloudfunctions

Last updated at 2020-06-22Posted at 2020-06-19

アーキテクチャ図

ちなみにステップ数は約20ステップ。こんなの楽勝だと思ってたら何日もハマってしまった。

ソース

ソースも簡単。StackOverflowにあるまんま書けば良い。

MAIN.PY

def importDs(request):
    import googleapiclient.discovery
    from oauth2client.client import GoogleCredentials

    credentials = GoogleCredentials.get_application_default()
    service = googleapiclient.discovery.build('sqladmin', 'v1beta4', credentials=credentials)

    # Project ID of the project that contains the instance.
    project = '[プロジェクト名]'  # TODO: Update placeholder value.
    # Cloud SQL instance ID. This does not include the project ID.
    instance = '[CloudSQLのインスタンス名]'  # TODO: Update placeholder value.
    instances_import_request_body = {
        "importContext": {
            "uri": "[GCSの場所]",
            "database": '[database名]',
            "fileType": "CSV",
            "csvImportOptions": {
                "table": "[テーブル名]"
            }
        }
    }

    request = service.instances().import_(project=project, instance=instance, body=instances_import_request_body)
    response = request.execute()

REQUIREMENTS.TXT

google-api-python-client==1.9.3
google-auth-httplib2==0.0.3
google-auth==1.17.2
oauth2client==4.1.3

The service account does not have the required permissions for the bucket.にハマる。

参照するCloudStorageにあるCSVファイルが他のPJなので、Cloud Funtionの権限をCloudStorageにつけてもアクセスが出来ない。
え？なんで？普通これで動くんじゃないのか？？PJすべてのサービスアカウントやIAMで定義されているものすべて付けても動かない。これで何日もハマる。