LoginSignup
0

More than 1 year has passed since last update.

Alibaba CloudでElasticSearchとKibanaをやってみよう!

Alibaba CloudでElasticSearchとKibanaを起動する

ElasticSearchとKibanaと言えば多くのデータ分析エンジニアのみなさんが活用しているツールですよね。この便利なツールがAlibaba Cloudではワンクリックで環境構築することができます。しかも無料バージョンではなく有料バージョンがクラウド料金の従量制料金に含まれてリーズなぶるに利用できるといった嬉しい機能として提供されています。このBlogでは、ElasticSearch導入とKinaba利用までのTipを紹介することにします。別のブログで実際にKibanaを利用したデータ分析もやってみようと思います。
本家のサイトもリンクを掲載しておきます。
ElasticSearch
Kibana

ElasticSearchの導入

Alibaba CloudのコンソールメニューにElasticSearchがすでに表示されていますのでそこから簡単に導入可能です。分類が「データ分析」ではなく「ビックデータ」の仲間にいるので探しづらいですね。
スクリーンショット 2020-12-14 13.13.40.png

ElasticSearchは2.0が利用できます。ElasticSearch以外にLogstash, Beatsもここから導入できます。それぞれ何ができるのかも画面上に解説も書いてあるので初めての人にも親切ですね。ここではElasticSearchの「クラスターの作成」から入っていきます。
スクリーンショット 2020-12-14 13.15.09.png

スクリーンショット 2020-12-14 13.15.17.png
スクリーンショット 2020-12-14 13.15.23.png

ElasticSearchも月額のサブスクリプションと時間課金の従量課金があります。今回は、課金で最低のスペックのものを日本(東京)リージョンに立ててみます。料金は1時間0.180ドル程度です。1日480円くらいです。
スクリーンショット 2020-12-14 13.17.11.png

ElasticSearchはVPCのネットワーク内に立てるインスタンスになりますので、VPCやVswitchを選択します。VPCに適用するFirewallやセキュリティ設定が活用できますので不正アクセスから守こともできます。ElasticSearchサーバへのセキュリティ攻撃が結構あるようですので注意したいですね。
スクリーンショット 2020-12-14 13.17.21.png

X-PackというのがElasticSearchの有料で提供している機能です。X-Packの導入にはElasticSearchとKibanaとバージョンを合わせて導入必要ですが、そこはマネージドサービスの便利さで、この画面でバージョンを選択すると環境は全てAlibaba Cloud側で調整してくれます。
今回1Core2GB Memoryの最低インスタンスを選択しますが、これはテスト用だけにして欲しいそうです。実際の分析業務には2Core8GB以上が推奨とされています。1Core2GBで試して、あとでクラスターのアップグレードを行うことも可能となっていて、まずは1Core2GBから始めることでもいいですね。
スクリーンショット 2020-12-14 13.17.31.png

Kibanaのノードタイプもインスタンスの大きさが選択できまます。1Core2GBで今回はやってみます。Warmデータノードやマスターノードを専用にするとか色々拡張設定がありますが、今回は最小でやります。
ここでKibanaのユーザー名とパスワードの設定が可能です。ここで設定するだけでkibanaまで一気に準備できます。
スクリーンショット 2020-12-14 13.17.50.png

ドキュメントセンターにあるクラスターの推奨環境を計算する考え方です。本番環境へアップグレードする際に参考になります。
スクリーンショット 2020-12-14 13.36.41.png

今回の設定まとめが表示されて、あとは購入を実施するだけです。
スクリーンショット 2020-12-14 13.18.13.png

ただ注意点が。購入後のクラスターを見るときにリージョンを選択し直ししないとダメです。クラスターが見えなくてあれ?となった時にリージョンが合っているか確認しましょう。私の場合はいつもなぜか「ムンバイ」になってます。
スクリーンショット 2020-12-14 13.19.36.png

購入後に環境が立ち上がるまで10分〜20分くらい時間を要します。Kibanaを利用するためのいくつかの設定をするまでには、この時間をまってあげないとダメなのでご注意を。「初期化中」となっています。ここが「実行中」となるまでしばしお待ちください。
スクリーンショット 2020-12-14 13.19.53.png

ここでどんな環境ができたか確認してみましょう。クラスターのリンクをクリックするとクラスターのイメージが図になってみえます。データノードが3つとKibanaノードが1つの構成ができあがっています。この構成全部で0.18ドル/時間なので安いと思います。
スクリーンショット 2020-12-14 13.21.02.png

Kibanaの起動まで

ここまででElasticSearchとKibanaはすでに動いているのですが、Kibanaのサーバにアクセスできるようにする設定がいくつかあります。

クラスターの詳細をみると「インターネットアドレス」-「初めに、インターネットアドレスを有効にする必要があります」とリンクされている部分があります。Kibanaにアクセスするためにインターネットからアクセスできるこの設定を有効にします。

スクリーンショット 2020-12-14 13.20.55.png

リンクをクリックすると以下の画面になります。「インターネットアドレス」のボタンを有効側にするだけです。ただ初期化中は変更ができません。「実行中」になってから画面をみてくださいね。
スクリーンショット 2020-12-14 13.22.02.png

実際に設定終わるとこんな感じ。HTTPSはテスト用なので設定しませんでした。本番にはやるべきですね。
スクリーンショット 2020-12-14 13.37.41.png

クラスターの詳細をみるとインターネットのエンドポイントURLとVPC内部からのエンドポイントURLの2つが生成されていることがわかります。このエンドポイントはElasticSearchを直接利用する場合のエンドポイントとなります。ポート番号9200を利用したElasticSearchのコンソールへアクセスできます。注意点としてポート9200を利用するのでVPCのセキュリティグループ設定に9200を許可する設定をしておく必要があります。今回Kibanaを利用するだけのケースではElasticSearchへのアクセスは直接必要ない感じです。(このアドレス等はすでに削除されていますのでアクセスしてもダメですよ!)
スクリーンショット 2020-12-14 13.38.56.png

次は、Kibanaのサーバにログインをしてみる部分です。エンドポイントのURLからアクセスすることもできますが、コンソール画面からKibanaのコンソールに入るリンクが表示されていて、アクセスすることが可能です。
クラスター詳細をみている画面に「データ可視化」というメニューがありますここをクリックするとデータ可視化のためのツールとしてKibana、DataVなどなどが表示されます。
スクリーンショット 2020-12-16 10.35.40.png

KibanaとDataVはこの画面から直接作動させることができます。「コンソールへ」というボタンを押すともうKibanaのサーバのログイン画面に飛びます。
スクリーンショット 2020-12-14 13.42.54.png

この画面でUsernameはデフォルトで設定されている「elastic」、パスワードはクラスターを立ち上げる時に設定したパスワードです。
スクリーンショット 2020-12-14 13.43.58.png

ログインできるともうKibanaが利用可能になってます。「Try our sample data」から入るとサンプルデータで何かダッシュボードを立ち上げたりすることができます。
スクリーンショット 2020-12-14 13.44.26.png

ECサイト向けのサンプルやFlight data、Web Logのサンプルの3つがありますので、Kibanaってどんなもんか、まずはみてみることができます。
スクリーンショット 2020-12-14 13.44.42.png

今回は、ここまでにします。次は実際にKibanaに新型コロナウィルス感染で公開されている各種オープンデータを入れて何か分析してみたいと思います。

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
What you can do with signing up
0