curlコマンドを利用して、Elasticsearch Serviceドメインにデータを投入してみます。

前提条件

Elasticsearch Serviceへの権限

Elastic Searchに対して読み取り権限があること。

AWS CLIのバージョン

以下のバージョンで動作確認済

AWS CLI 1.10.19

コマンド

aws --version

結果(例)

aws-cli/1.10.19 Python/2.7.10 Darwin/15.4.0 botocore/1.4.10

準備
=======

0.1. リージョンの決定

利用するリージョンを決めます。 (カレントユーザが利用するカレントリージ
ョンも切り変わります。)

変数の設定(東京リージョンの場合)

export AWS_DEFAULT_REGION='ap-northeast-1'

0.2. プロファイルの確認

プロファイルが想定のものになっていることを確認します。

コマンド

aws configure list

結果(例)


            Name                    Value             Type    Location
            ----                    -----             ----    --------
         profile         es-prjz-mbp13        env    AWS_DEFAULT_PROFILE
      access_key     ****************XXXX shared-credentials-file
      secret_key     ****************XXXX shared-credentials-file
          region                         ap-northeast-1  env    AWS_DEFAULT_REGION

AssumeRoleを利用している場合はprofileが ''と表示されます。それ以外のときにprofileが '' と表示される場合は、以下を実行してください。

変数の設定

export AWS_DEFAULT_PROFILE=<IAMユーザ名>

0.3. ドメイン名の指定

対象となるドメインの名前を指定します。

変数の設定

ES_DOMAIN_NAME="handson-esdomain-$(date +%Y%m%d)" \
  && echo ${ES_DOMAIN_NAME}

結果(例)

handson-esdomain-20160411

0.4. エンドポイントの取得

変数の設定

ES_DOMAIN_ENDPOINT=$( \
  aws es describe-elasticsearch-domains \
  --domain-name ${ES_DOMAIN_NAME} \
  --query "DomainStatusList[?ARN == \`${ES_DOMAIN_ARN}\`].Endpoint" \
  --output text \
) \
  && echo ${ES_DOMAIN_ENDPOINT}

結果(例)

search-handson-esdomain-20160411-xxxxxxxxxxxxxxxxxxxxxxxxxx.ap-northeast-1.es.amazonaws.com

事前作業
===========

変数の確認

変数の確認

cat << ETX

  ES_DOMAIN_NAME:     ${ES_DOMAIN_NAME}
  ES_DOMAIN_ENDPOINT: ${ES_DOMAIN_ENDPOINT}

ETX

インデックスの作成
=====================

インデックス名を指定します。

変数の設定

ES_INDEX_NAME=${ES_DOMAIN_NAME}

変数の確認

cat << ETX

  ES_DOMAIN_ENDPOINT:   ${ES_DOMAIN_ENDPOINT}
  ES_DOMAIN_INDEX_NAME: ${ES_INDEX_NAME}

ETX

インデックスを作成します。

コマンド

curl -X PUT ${ES_DOMAIN_ENDPOINT}/${ES_INDEX_NAME}

結果(例)

{"acknowledged":true}

データの投入
===============

3.1. 投入データの作成

変数の設定

FILE_INPUT="${ES_INDEX_NAME}-input.json" \
  && echo ${FILE_INPUT}

コマンド

cat << EOF > ${FILE_INPUT}
{
  "field1":2,
  "@timestamp":"$(date +%Y-%m-%dT%H:%M:%S%z)"
}
EOF

cat ${FILE_INPUT}

JSONファイルを作成したら、フォーマットが壊れてないか必ず確認します。

コマンド

jsonlint -q ${FILE_INPUT}

エラーが出力されなければOKです。

3.2. データの投入

タイプ名/IDを決定します。

変数の設定

ES_TYPE_NAME='testlog'
ES_RECORD_ID='1'

POST先のURLを組み立てます。

エンドポイント/インデックス名/タイプ名/IDとなります。

変数の設定

ES_URL_POST="${ES_DOMAIN_ENDPOINT}/${ES_INDEX_NAME}/${ES_TYPE_NAME}/${ES_RECORD_ID}" \
 && echo ${ES_URL_POST}

変数の確認

cat << ETX

  ES_URL_POST: ${ES_URL_POST}
  FILE_INPUT:  ${FILE_INPUT}

ETX

コマンド

curl -X PUT ${ES_URL_POST} -d @"${FILE_INPUT}"

結果(例)

{"_index":"handson-esdomain-20160411","_type":"testlog","_id":"1","_version":1,"

kibana
=========

Amazon ESのダッシュボードで得た Kibana のURLにアクセスします。

"Index name or pattern"に、以下を実行して表示される文字列を入力します。

コマンド

echo ${ES_INDEX_NAME}

"Time-field name"に、"@timestamp"を入力します。

インデックスが正しく作成されていれば"Create"ボタンが表示されるので、クリックします。

インデックスのカラム一覧が表示されればOKです。

"Discover"の下にある"field1"をクリックすると、Countを表わすグラフが表示されます。

データの追記
===============

新しいデータを投入してみましょう。

5.1. 投入データの作成

コマンド

cat << EOF > ${FILE_INPUT}
{
  "field1":8,
  "@timestamp":"$(date +%Y-%m-%dT%H:%M:%S%z)"
}
EOF

cat ${FILE_INPUT}

JSONファイルを作成したら、フォーマットが壊れてないか必ず確認します。

コマンド

jsonlint -q ${FILE_INPUT}

エラーが出力されなければOKです。

5.2. データの投入

IDを更新します。

変数の設定

ES_RECORD_ID='2'

POST先のURLを組み立てます。

変数の設定

ES_URL_POST="${ES_DOMAIN_ENDPOINT}/${ES_INDEX_NAME}/${ES_TYPE_NAME}/${ES_RECORD_ID}" \
  && echo ${ES_URL_POST}

変数の確認

cat << ETX

  ES_URL_POST: ${ES_URL_POST}
  FILE_INPUT:  ${FILE_INPUT}

ETX

コマンド

curl -X PUT ${ES_URL_POST} -d @"${FILE_INPUT}"

結果(例)

{"_index":"handson-esdomain-20160411","_type":"testlog","_id":"2","_version":1,"created":true}

"Discover"の下にある"field1"に新しいデータが表示されればOKです。

検索
=======

GET先のURLを組み立てます。

変数の設定

ES_URL_GET="${ES_DOMAIN_ENDPOINT}/${ES_INDEX_NAME}/${ES_TYPE_NAME}" \
  && echo ${ES_URL_GET}

変数の設定

ES_SEARCH_WORD='8'

変数の確認

cat << ETX

  ES_URL_GET:     ${ES_URL_GET}
  ES_SEARCH_WORD: ${ES_SEARCH_WORD}

ETX

コマンド

curl -XGET "${ES_URL_GET}/_search?q=${ES_SEARCH_WORD}"

結果(例)

{"took":14,"timed_out":false,"_shards":{"total":5,"successful":5,"failed":0},"hits":{"total":1,"max_score":0.11506981,"hits":[{"_index":"handson-esdomain-20160411","_type":"testlog","_id":"2","_score":0.11506981,"_source":{  "field1":8,  "@timestamp":"2016-04-11T17:30:28+0900"}}]}}

完了

以上で、Elasticsearch Serviceドメインへのデータの投入と検索が完了しました。