アメリカ地質調査所が公開している地震の発生データを検索可能にし、結果を地図上にマッピングする方法を紹介する。
環境
- CDH 5.4.2
- Cloudera Manager を使ってクラスタを準備するか、クイックスタートVMを準備すること。VMの準備方法についてはこちらを参考。
データセット
最近発生した地震のデータセット。 アメリカ地質調査所 より取得する。
検索システムのアーキテクチャ
データセットの取得と HBase へのロード
HBaseにTSVデータを投入する(ImportTsv)の記事を参照。
Solr から HBase テーブルのインデックス作成
HBaseのデータからSolrの検索インデックスを作成するの記事を参照。
検索結果を地図上に表示する
http://<hueサーバのノード>:8888/indexer にアクセスし、 earthquake-collection を選択し、左サイドバーの 検索 を選択する。
画面上部のマーカーマップアイコンを下の結果表示用フィールドにドラッグアンドドロップし、ウィジェットを作成する。
緯度 に latitude 、 経度 に longtitude 、 ラベル に place を選択すると、地震情報を地図にマッピングすることができる。
例: 日本で発生している地震に絞り込みする
画面上部の検索バーに、 (place:*Japan) と入力して検索すればよい。位置を示す文字列を格納しているフィールド place に対し後方一致検索を行ってくれる。
次のステップ
この検索システムは非常に簡素なもので、まだまだ改良の余地がある。以下に一例を挙げる。
- 手動でのデータ投入から自動でのデータ取得・更新へ
- Flume を使ったニアリアルタイムインデクシング(NRT)
- 検索 UI の改善