Meraki から取得して DynamoDB に保存した WiFi 位置情報を kibana で見る

前提

Meraki Scanning API 経由で取得した WiFi 位置情報を AWS へ保存する（API Gateway + Lambda + Dynamo DB）の設定が終わっていることが前提です。

全体の流れ

• Amazon Elasticsearch Service の使用開始
• DynamoDB テーブルの選択と DynamoDB streams の開始
• IAM ロールの設定（ES＆DynamoDB streams）
• Lambda 関数の作成（※イベントソースマッピングを忘れないよう）
• kibana の設定と可視化

Amazon Elasticsearch Service の使用開始

Amazon ES ドメインの作成

Amazon ES の開始にはドメイン作成が必要。

１．AWS マネジメントコンソールにログインして Amazon Elasticsearch Service コンソールを開く
２．「新しいドメインの作成」をクリック
３．「step1:ドメインの定義」では以下の通り入力して「次へ」をクリック

• 「Elasticsearch ドメイン名」： "meraki-locations"
• 「Elasticsearch のバージョン」：5.5

※ Amazon 公式チュートリアルによると最新が推奨とのこと。ここでは本日時点での最新 5.5 を選択。

４．「step2:クラスターの設定」では以下の通り入力して「次へ」をクリック。

• 「インスタンス数」： "1"
• 「インスタンスタイプ」："t2.small.elasticsearch"
• 「専用マスターの有効化」：チェックせず
• 「ゾーン対応の有効化」：チェックせず
• 「ストレージタイプ」：EBS
• 「EBSボリュームタイプ」：汎用(SSD)
• 「ボリュームサイズ」：10
• 「自動スナップショットの開始時間」：19:00(UTC)

※ ボリュームサイズの最小値は10GB

５．Amazon ES へアクセスする端末のパブリックIPアドレスを調べる。Amazon 公式チュートリアルによると、Google で「私の IP アドレスは何ですか」と入力すると判明するとのこと。ここで調べた IP アドレスからのアクセスのみ許可するよう、次の項目で設定を行う。
６．「step3:アクセスの設定」では以下の通り入力して「次へ」をクリック：

• 「ネットワーク構成」：「パブリックアクセス」を選択
• 「ドメインアクセスポリシーの設定」：「特定のIPからのドメインへのアクセスを許可」を選択し、続いて現れる「IPアドレス」にパブリック IP アドレスを入力。

７．内容を確認して「確認」をクリック。新ドメイン作成には約10分を要する。
８．「ドメイン ARN」 及び 「エンドポイント」が表示されるのでメモっておく。

DynamoDB テーブルの選択

DynamoDB Streams を Enable にする

１．AWS マネジメントコンソールにログインして DynamoDB コンソールを開く
２．「テーブル」＞ "cmxdata" ＞「概要」タブを順にクリック
３．「ストリームの管理」をクリック
４．「新しいイメージ - 変更後に表示される項目全体。」を選択し、「有効化」をクリック

５．stream ARN が表示されるのでメモっておく。

IAM ロールの作成

これから作成する Lambda 関数には次の二つの権限が必要となる：

• Amazon ES cluster に対するアクセス権限。これは index の新規レコードを submit するために必要
• DynamoDB stream に対する Read 権限

これらを満たす IAM ロールを以下の手順で作成する。

IAM ロールの新規作成（Lambda から CloudWatch へログ送信を許可）

１．AWS マネジメントコンソールにログインして IAM コンソールを開く
２．「ロール」＞「ロールの作成」をクリック
３．「AWSサービス」＞「Lambda」＞「次のステップ：アクセス権限」をクリック

４．"AWSLambdaBasicExecutionRole" にて検索。同名のポリシーが表示が検索結果として表示される（これは Lambda 関数がログを CloudWatch へ送ることを許可するポリシー）のでチェックを入れ、「次のステップ：確認」をクリック
５．「ロール名」に "dynamo2es-lambda-executor" と入力し、「ロールの作成」をクリック

IAM ロールへの権限追加（ES ＆ DynamoDB stream に対するアクセス権限追加）

以下の手順で、上記で作成した IAM ロール "dynamo2es-lambda-executor" へ Amazon ES クラスタへのアクセス権限を追加する：

１．IAM コンソールから「ロール」＞ "dynamo2es-lambda-executor" をクリック
２．「インラインポリシーの追加」をクリック

３．"Policy Generator" が選択されていることを確認し、「選択」をクリック

４．「アクセス許可の編集」では以下の通り入力：

• 「効果」：許可
• 「AWSサービス」："Amazon Elasticsearch Service"
• 「アクション」："AddTags" にチェックを入れる
• 「Amazon リソースネーム（ARN）」：(上記でメモした ES ドメイン ARN を入力 ※注1)

※注1）ARN の末尾には /* をつけること：

arn:aws:es:us-east-1:012345678901:domain/meraki-locations/*

５．「ステートメントの追加」をクリックすると上記入力に対応する行が追加される
６．続いて、以下の通り入力：

• 「効果」：許可
• 「AWSサービス」："Amazon DynamoDB"
• 「アクション」：（以下の４つにチェックを入れる）
• "dynamodb:DescribeStream"
• "dynamodb:GetRecords"
• "dynamodb:GetShardIterator"
• "dynamodb:ListStreams"
• 「Amazon リソースネーム（ARN）」：(上記でメモした DynamoDB stream ARN を入力__※注2__)

※注2) stream ARN の例

arn:aws:es:us-east-1:012345678901:table/cmxdata/stream/2017-12-16T09:28:30.062

７．「ステートメントの追加」をクリックすると上記入力に対応する行が追加される
８．「次のステップ」をクリック
９．「ポリシーの適用」をクリック

Lambda 関数の作成

１．AWS マネジメントコンソールにログインして Lambda コンソールを開く
２．「関数の作成」をクリック
３．「設計図」にチェックを入れる
４．「基本的な情報」には以下の通り入力して「関数の作成」をクリック

• 「名前」：cmxreceiver-stream-to-es
• 「ロール」：「既存のロールを選択」
• 「既存のロール」："dynamo2es-lambda-executor"

５．lambda 関数 "cmxreceiver-stream-to-es" が作成されるので、「設定」タブの中に以下の通り入力して「保存してテスト」をクリック

• 「コードエントリタイプ」：「コードをインラインで編集」
• 「ランタイム」："Python 2.7"
• "lambda_function.py"：（こちらの Python コードを張り付ける。張り付けた後で、ES_ENDPOINT の行の YOUR-ENDPOINT.eu-west-1.es.amazonaws.com をメモった「エンドポイント」へ変更する）

６．イベントソースマッピングの設定を行うために CLI コンソールにログインする（GUIでの設定方法がわからなかったためです。すいません。。）
７．以下を実行する：

aws lambda create-event-source-mapping --region us-east-1 --function-name cmxreceiver-stream-to-es --event-source (上記で取得したstream arn) --batch-size 100 --starting-position TRIM_HORIZON --profile adminuser

Kibana で確認

１．AWS マネジメントコンソールにログインして Elasticsearch Service コンソールを開く
２．"meraki-locations" > 「概要」を表示
３．Kibana の横のリンクをクリックすると別ウィンドウで Kibana が開く
※ 別ウィンドウで以下のエラーが出た場合には Elasticsearch の IPアドレスによるアクセス制限の設定が間違っている可能性がある。

{"Message":"User: anonymous is not authorized to perform: es:ESHttpGet on resource: meraki-locations"}

４．kibana の画面が開いたら、以下の通り index に DynamoDB のテーブル名を入力する：

• "index name" に "cmxdata" を入力
• "Time Filter field name" に "I don't want to use the Time Filter" を選択
• "Create" をクリック

５．kibana は自動的に最適と思われるデータ型を選択してくれる：

６．kibana で各種手順を行うとデータの可視化が可能（操作は省略）

結果のサンプルグラフ（RSSIの大きい順に端末MACアドレスを棒グラフで表示）

---

元ネタ１：AWS ElasticSearch & Kibana
元ネタ２：Indexing Amazon DynamoDB Content with Amazon Elasticsearch Service Using AWS Lambda
元ネタ３：Amazon Elasticsearch Service の使用開始 | ステップ 2: Amazon ES ドメインを作成する
元ネタ４：ステップ 3.2: AWS Lambda でイベントソースを追加する