タイトルの通り、Datastoreに入れていたデータをCloudSQL(MySQL)に持っていくためにやったことです。

結論

Datastore ---(export)---> GCS ---(import)---> BQ ---(クエリ結果取得)---(import)----> CloudSQL

概要

Datastoreからのエクスポート

サポートされているエクスポート方法はGCSへの出力のみです。LevelDBというkey-value形式でエクスポートされます

DatastoreからBQへ

この手順については公式ドキュメントにもあり、GCSへのエクスポート、BQでGCSからのインポートによるテーブル作成という流れになります。

DatastoreからCloudSQLへ

残念ながら、それを一発でやるような方法やドキュメントはありません。そもそもNoSQLのDatastoreからCloudSQLに入れるということが必要になるケースが少ないかもしれませんね。
仕方ないので、BQでクエリ実行して取得した結果をCSVとして保存し、それをMySQLにインポートするという手順を採りました。

全体の流れ

手順

前提

Datastoreは、Datastoreモードで使用しています。
エクスポートそれ自体において必須なわけではないですが、CloudSQLにアクセスするための踏み台GCEを経由するするようにしています。

0. 事前準備

GCSバケットの作成(リージョンに注意: インポート先BQとリージョンを合わせる必要があります)
BQデータセットの作成(リージョンに注意: GCSバケットとリージョンを合わせる必要があります)
CloudSQLインスタンスおよびDBの作成
CloudSQLにアクセスできる環境準備(ここではGCEインスタンスを用意しますが、ローカルマシンでも問題ありません)

1. DatastoreからGCS

ちなみにこのようなサンプルデータを用意しています。

Datastore > インポート/エクスポートで「エクスポート」を選択します。
エクスポートするKindおよびエクスポート先のGCSバケットを選択して、エクスポートを実行します。

エクスポートが完了すると、GCSには「${YYYY-MM-DDTHH:MM:SS}_${自動採番num}」のフォルダが作成されます。

2. GCSからBQ

Big Query > SQLワークスペースで、データセットを開き、[テーブルを作成]をクリックします。

テーブルの作成ページでの選択は以下の通りです(記載のないものはデフォルト)

[ソース]
テーブルの作成元 : Cloud Storage
GCSバケット府からファイルを選択: [作成されたバケット]/[namespace名]/[kind名]/[namespace名]_[kind名].export_metadata
ファイル形式 Cloud Datastore バックアップ

[送信先]
テーブル: 任意のテーブル名

エクスポートが成功すると、BigQueryのプレビュー等で、実際にデータが確認できます。

3.BQでクエリ結果取得

この結果を取得するためにクエリを実行します。
Datastoreにより用意されたカラムもあるので、実際にCloudSQLに入れるのに必要なデータのみ抽出します。

ここでは以下のようになりました

 SELECT  hoge, fuga, piyo FROM `MY-GCP-PROJECT.bq_datastore_export_test.table_datastore_export_test`

4.クエリ結果の出力

ここではCloudShellを用いてクエリ実行とGCSへのエクスポートを行います
出力先GCSバケットは、datastoreのexport先と同じにしています。クエリは、3の手順のものと同一です。

 bq query --nouse_legacy_sql 'EXPORT DATA OPTIONS(
uri="gs://ryoeguchi-datastore-export/query_export_*.csv",format="CSV",overwrite=true,header=true,field_delimiter=",")
AS SELECT hoge, fuga, piyo FROM `MY-GCP-PROJECT.bq_datastore_export_test.table_datastore_export_test` '

GCSバケットにcsvファイルが出力されいるのが確認できます。

5.クエリ結果をCloudSQLへ投入

gsutilコマンドで、CloudSQLに接続するマシン(GCEインスタンスまたはローカルマシン)に、クエリ結果をコピーします。

gsutil cp gs://ryoeguchi-datastore-export/query_export_*.csv .

CloudSQLに接続し、importを実施します。

sudo mysql -h IP.OF.CLOUD.SQL -u root -p -D datastore_imported

CloudSQLのインポート先テーブルはこのように作りました(bqクエリ結果とカラムの順序の整合を取る必要あり)。

 create table table_datastore_import(hoge varchar(255), fuga int, piyo varchar(255));

データが登録されていないテーブルが作成されています。

 select * from table_datastore_import;  
 Empty set (0.002 sec)

load data機能を用いて、CSVファイルを取り込みます。bqの出力時に、区切り文字はカンマ',', ヘッダ出力はtrueにしたので、それに合わせてオプションは設定しています。

load data local infile 'query_export_000000000000.csv' into table table_datastore_import fields terminated by ',' enclosed by '"' ignore 1 lines;
Query OK, 3 rows affected (0.008 sec)
 Records: 3  Deleted: 0  Skipped: 0  Warnings: 0

データが投入されていることが確認できました。

 select * from table_datastore_import;
+-------------+------+-----------------+
| hoge        | fuga | piyo            |
+-------------+------+-----------------+
| hello world |    2 | hello datastore |
| text_hoge   |    1 | piyopiyo        |
| hogehoge    |    4 | piyopiyo        |
+-------------+------+-----------------+
3 rows in set (0.002 sec)

以上で、DatastoreからCloudSQLへデータをインポートすることができました。

余談

私が過去にこの操作を行った際、コンソール上でクエリ実行結果をローカルに保存してそれを踏み台サーバに送るようにしていました。bqコマンドによりGCSに実行結果を保存するようにすれば、Datastoreに入っている情報をGCPの外(ローカルマシン)に出さずにも出来るようになるため、より安全ですね。

コンソール上でのクエリ結果保存先指定は、クエリ結果の[結果の保存]から実施可能です。

DatastoreのデータをCloudSQLに入れるまで

結論

概要