Amazon Elasticsearch Service へ Embulk を使ってデータロード

はじめに

AWS ElasticSearch Serviceはフルマネージドで運用要らず、今のところ(2017/5/18)他の追随を許さ無い魅力があります(筆者はElastic社のElastic Cloudは使った事がありません)
Azureの場合、MarketPlaceからElastic-Stackが提供されて完全占有クラスターが自動構築可能です。GCPもblogにある通り、Azureとほぼ同じ。完全占有クラスターのメリット？がありそうな反面、ElasticClusterの運用/管理がtrade-offとしてつきまといます。

当初はAzureで個別クラスターを使っていましたがトラブルが続き、運用などはしたく無いのでAWSに浮気してみましたのでその記録とTipsをまとめます

環境

• 既存の物を使い回しでAzureのVMにembulkインストール、データロード等の制御に使います
• データは Azure Blobに保存
• AWS ElasticSearch Service (ver5.1が選択できたのでこれ)
• 図解
  

セットアップ

• AzureVMへembulkのセットアップはこのあたりを参考に
• AWS ElasticSearch Serviceは本家の資料を参考に
• APIを使って投げ込む事を想定している為、embulkが稼働するNodeからのアクセス制御を掛けておきます
• embulk plugins
• embulk-input-azure_blob_storag
• embulk-output-elasticsearch_using_url
• こちらの記事にある通り、Tresure Data mugaさん謹製のpluginではAWS ElasticSearch Serviceをサポートしていないので、embulk-output-elasticsearch_using_url を使います

実行

以下の手順で実施

• BlobにElasticSearchに投入したいログをUploadしておく
• embulkから吸い出し、ElasticSearch Serviceへ投げ込み用のconfig.yml作成

in:
  type: azure_blob_storage
  account_name: <BLOB NAME>
  account_key: <BLOB KEY>
  container: <CONTAINER NAME>
  path_prefix: <PREFIX as you like>
  decoders:
    - {type: gzip}
  parser:
    charset: UTF-8
    newline: CRLF
    type: jsonl
    schema:

out:
  type: elasticsearch_using_url
  mode: normal
  nodes:
    - url: "<YOUR ElasticSearch Domain>.us-east-2.es.amazonaws.com:80"
  index: "sample"
  index_type: "sample"

• 実行

$ embulk preview config.yml
$ embulk run config.yml -l warn -r resume_state_aws.yml &>> embulk_awses.log

確認

• AWS consoleで確認
  

まとめ

• ElasticSearchへの大量のデータロードにはembulkは最適な手段
• AWS ElasticSearch Serviceでは 9200 portが使えない為、embulk pluginの選択に注意、http経由で実施するのがおすすめ

余談

• およその費用比較

	AWS	Azure	GCP
費用	$250 - $300 程度	$530	未確認

• VirtulMachineのサイズ、データ量は1TB程度
  • AWS
    • EC2: t2.midium x3 , $150
    • EBS: 1TB, $100
    • データ通信料
  • Azure
    • VM: D2v2 , $84.82 x6 =　$505.44
      • Elastic-Stack構築時、VMサイズを選択可能だが、D1v2(default)では使い物にならなかった
    • Blob: 1TB , $24
    • データ通信料
  • GCP
    • 未検証