Alibaba CloudでElasticSearchとKibanaを起動する
ElasticSearchとKibanaと言えば多くのデータ分析エンジニアのみなさんが活用しているツールですよね。この便利なツールがAlibaba Cloudではワンクリックで環境構築することができます。しかも無料バージョンではなく有料バージョンがクラウド料金の従量制料金に含まれてリーズなぶるに利用できるといった嬉しい機能として提供されています。このBlogでは、ElasticSearch導入とKinaba利用までのTipを紹介することにします。別のブログで実際にKibanaを利用したデータ分析もやってみようと思います。
本家のサイトもリンクを掲載しておきます。
ElasticSearch
Kibana
ElasticSearchの導入
Alibaba CloudのコンソールメニューにElasticSearchがすでに表示されていますのでそこから簡単に導入可能です。分類が「データ分析」ではなく「ビックデータ」の仲間にいるので探しづらいですね。
ElasticSearchは2.0が利用できます。ElasticSearch以外にLogstash, Beatsもここから導入できます。それぞれ何ができるのかも画面上に解説も書いてあるので初めての人にも親切ですね。ここではElasticSearchの「クラスターの作成」から入っていきます。
ElasticSearchも月額のサブスクリプションと時間課金の従量課金があります。今回は、課金で最低のスペックのものを日本(東京)リージョンに立ててみます。料金は１時間0.180ドル程度です。１日480円くらいです。
ElasticSearchはVPCのネットワーク内に立てるインスタンスになりますので、VPCやVswitchを選択します。VPCに適用するFirewallやセキュリティ設定が活用できますので不正アクセスから守こともできます。ElasticSearchサーバへのセキュリティ攻撃が結構あるようですので注意したいですね。
X-PackというのがElasticSearchの有料で提供している機能です。X-Packの導入にはElasticSearchとKibanaとバージョンを合わせて導入必要ですが、そこはマネージドサービスの便利さで、この画面でバージョンを選択すると環境は全てAlibaba Cloud側で調整してくれます。
今回1Core2GB Memoryの最低インスタンスを選択しますが、これはテスト用だけにして欲しいそうです。実際の分析業務には2Core8GB以上が推奨とされています。1Core2GBで試して、あとでクラスターのアップグレードを行うことも可能となっていて、まずは1Core2GBから始めることでもいいですね。
Kibanaのノードタイプもインスタンスの大きさが選択できまます。1Core2GBで今回はやってみます。Warmデータノードやマスターノードを専用にするとか色々拡張設定がありますが、今回は最小でやります。
ここでKibanaのユーザー名とパスワードの設定が可能です。ここで設定するだけでkibanaまで一気に準備できます。
ドキュメントセンターにあるクラスターの推奨環境を計算する考え方です。本番環境へアップグレードする際に参考になります。
今回の設定まとめが表示されて、あとは購入を実施するだけです。
ただ注意点が。購入後のクラスターを見るときにリージョンを選択し直ししないとダメです。クラスターが見えなくてあれ？となった時にリージョンが合っているか確認しましょう。私の場合はいつもなぜか「ムンバイ」になってます。
購入後に環境が立ち上がるまで10分〜20分くらい時間を要します。Kibanaを利用するためのいくつかの設定をするまでには、この時間をまってあげないとダメなのでご注意を。「初期化中」となっています。ここが「実行中」となるまでしばしお待ちください。
ここでどんな環境ができたか確認してみましょう。クラスターのリンクをクリックするとクラスターのイメージが図になってみえます。データノードが３つとKibanaノードが1つの構成ができあがっています。この構成全部で0.18ドル/時間なので安いと思います。
Kibanaの起動まで
ここまででElasticSearchとKibanaはすでに動いているのですが、Kibanaのサーバにアクセスできるようにする設定がいくつかあります。
クラスターの詳細をみると「インターネットアドレス」-「初めに、インターネットアドレスを有効にする必要があります」とリンクされている部分があります。Kibanaにアクセスするためにインターネットからアクセスできるこの設定を有効にします。
リンクをクリックすると以下の画面になります。「インターネットアドレス」のボタンを有効側にするだけです。ただ初期化中は変更ができません。「実行中」になってから画面をみてくださいね。
実際に設定終わるとこんな感じ。HTTPSはテスト用なので設定しませんでした。本番にはやるべきですね。
クラスターの詳細をみるとインターネットのエンドポイントURLとVPC内部からのエンドポイントURLの２つが生成されていることがわかります。このエンドポイントはElasticSearchを直接利用する場合のエンドポイントとなります。ポート番号9200を利用したElasticSearchのコンソールへアクセスできます。注意点としてポート9200を利用するのでVPCのセキュリティグループ設定に9200を許可する設定をしておく必要があります。今回Kibanaを利用するだけのケースではElasticSearchへのアクセスは直接必要ない感じです。(このアドレス等はすでに削除されていますのでアクセスしてもダメですよ！）
次は、Kibanaのサーバにログインをしてみる部分です。エンドポイントのURLからアクセスすることもできますが、コンソール画面からKibanaのコンソールに入るリンクが表示されていて、アクセスすることが可能です。
クラスター詳細をみている画面に「データ可視化」というメニューがありますここをクリックするとデータ可視化のためのツールとしてKibana、DataVなどなどが表示されます。
KibanaとDataVはこの画面から直接作動させることができます。「コンソールへ」というボタンを押すともうKibanaのサーバのログイン画面に飛びます。
この画面でUsernameはデフォルトで設定されている「elastic」、パスワードはクラスターを立ち上げる時に設定したパスワードです。
ログインできるともうKibanaが利用可能になってます。「Try our sample data」から入るとサンプルデータで何かダッシュボードを立ち上げたりすることができます。
ECサイト向けのサンプルやFlight data、Web Logのサンプルの３つがありますので、Kibanaってどんなもんか、まずはみてみることができます。
今回は、ここまでにします。次は実際にKibanaに新型コロナウィルス感染で公開されている各種オープンデータを入れて何か分析してみたいと思います。