LoginSignup
29
29

More than 5 years have passed since last update.

DatastoreのデータをBigQueryに入れてSELECTする方法

Last updated at Posted at 2015-03-24

何が楽しいか

DataStoreのデータはGQLを使って検索できるけど、自由度が低い。わざわざプログラム組むのも面倒。BigQueryに入れれば高速で自由なSQLで検索が出来る!

手順

bucketを用意する

GAEコンソール(https://console.developers.google.com/)(新GAEコンソール)からStorage Browserを選択する。
初めての場合はCreate a bucketをする。

create_bucket.png

bucket名がDatastoreを入れる場所になる。

new_bucket.png

DatastoreAdminでBackup

GAEコンソール(https://appengine.google.com/)から、Datastore Adminを選ぶ。
旧コンソールのみでしかDatastore Adminは存在しないので注意してください(2015/03/24現在)

初めての場合はEnable Datastore Adminをクリック。
Datastore AdminEnableDataStoreAdmin.png
すると画面が変わるので、BigQueryに入れたいModelを選んでBackup Entitiesを押す。

selected_model.png

Backup storage destination:をGCSにする。
Google Cloud Storage bucket nameを、用意したbucket名にする。
Datastore_backup.png

うまくいくとこんな感じの画面が出る。
backup_job.png

しばらくすると、用意したbucketにファイルが出来る。

BigQueryを開く

CreateNewDataSetを選ぶ
create_new_dataset.png

DataSet IDは何でもいい。お好きなので。
dataset_id.png

Create new tableを選ぶ。
create_new_table.png

table idはModel名がわかりやすい。
table_id.png

SelectDataで、Cloud DataStore Backupを選ぶ。
gs://[bucket名]/[Modelファイル名].backup_info
間違えるとうまくいかないだけなので、大丈夫。
それでsubmitする。

select_data.png

Recent Jobsでうまく行ったか教えてくれます。
job_result1.png

BigQueryライフへ!

今までGQLで使えなかったGROUP BYやHAVINGやJOINが使えます!
今までだったら「プログラム組むしかないなぁ…」と思ってたのがこれで改善されます!!

29
29
2

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
29
29