Elasticsearch+Marvelの導入

• 時系列データを様々な角度から分析できるElasticsearchを導入。さらに、Marvelでグラフ化してみます。

---

System requirements

Software	Version
OS	Cent OS 6.0(final)
Java	Open JDK 6
Elasticsearch	-
------------	-----------

---

The system will be ...

Software	Version
OS	Cent OS 6.0(final)
Java	Open JDK 8
Elasticsearch	1.4.2 (http.port:9200)
------------	-----------

ポートを利用するライブラリ	目的	ポート番号
Elasticsearch	Web UI & Search API	9200
Elasticsearch	Transport & Clustering	9300
※ポート番号の解説はTalking to Elasticsearchを参照

0 コンテナの起動

ローカルからDockerfileを転送します。

• master1用設定を転送

scp -r ~/OneDrive/docker/elasticsearch agent-master1:/etc/
scp -r ~/OneDrive/docker/elasticsearch/master1/config agent-master1:/etc/elasticsearch/

• master2用設定を転送

scp -r ~/OneDrive/docker/elasticsearch agent-master2:/etc/
scp -r ~/OneDrive/docker/elasticsearch/master2/config agent-master2:/etc/elasticsearch/

• master3用設定を転送

scp -r ~/OneDrive/docker/elasticsearch agent-master3:/etc/
scp -r ~/OneDrive/docker/elasticsearch/master3/config agent-master3:/etc/elasticsearch/

Dockerイメージをビルドして起動します。

docker build -t soushi/elasticsearch:1.0 /etc/elasticsearch/
docker run -i -t -d -p 131.113.102.202:9200:9200 -p 131.113.102.202:9300:9300 -v /etc/elasticsearch/config:/usr/local/elasticsearch/config -v /var/log/elasticsearch:/var/log/elasticsearch -v /etc/localtime:/etc/localtime:ro --name elasticsearch soushi/elasticsearch:1.0

• Centos:6イメージからの起動

docker run -i -t -d -p 9200:9200 -p 9300:9300 --name elasticsearch1 centos:6 /bin/bash

---

0 Javaのアップグレード

現在インストールされているJDKの削除

• 確認

su
java -version
# >java version "1.6.0_33"
# >OpenJDK Runtime Environment (IcedTea6 1.13.5) (rhel-1.13.5.1.el6_6-x86_64)
# >OpenJDK 64-Bit Server VM (build 23.25-b01, mixed mode)

• 削除&最新版のJDKを確認

yum -y remove java-1.6.0-openjdk
yum search java | grep 'java-'

最新版のJDKをインストール

yum -y install java-1.8.0-openjdk-devel.x86_64
sed -i -e 's/^export\ JAVA_HOME/#export\ JAVA_HOME/g' /etc/profile;
sed -i -e '/^#export\ JAVA_HOME/a export\ JAVA_HOME=\/usr\/lib\/jvm\/java-1\.8\.0-openjdk\/' /etc/profile;
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
echo "export PATH=\$PATH:$JAVA_HOME/bin" >> /etc/profile
export PATH=$PATH:$JAVA_HOME/bin

---

1 ダウンロードおよび解凍

mkdir /usr/local/download
cd /usr/local/download/
curl -O https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.4.2.tar.gz
yum -y install tar
tar xvzf elasticsearch-1.4.2.tar.gz
mv elasticsearch-1.4.2 ../
cd ..
ln -s elasticsearch-1.4.2/ elasticsearch
echo "export PATH=\$PATH:/usr/local/elasticsearch/bin" >> /etc/profile
export PATH=$PATH:/usr/local/elasticsearch/bin

2 設定

Elasticsearchは特に設定を行わなくても、簡単に複数ノードによるクラスタリングが可能。(デフォルトで9200- 9300の範囲のポートを自動で割り当ててくれる)

詳しくは公式リファレンスを参照
設定ファイルの中のコメントが非常に充実していて役に立つ
/usr/local/elasticsearch/config/elasticsearch.yml

3 Elasticsearchをデーモンとして起動する。

今回は行わないが、詳しくはこちらを参照。

4 起動

elasticsearch では、cluster.name に同じ名前を指定しておけばこのように自動的にノードを検出してクラスタを構成してくれます。
ただし、クラスタの構成が実行されるのは各ノードの起動時だけなのか、master ノードの起動を待たずに連続で複数のノードを起動した場合、正しく master ノードを検出してくれない事があるようでした。参照

elasticsearch -Des.cluster.name=mycluster &

5 視覚化ツールを導入する

こちらを参照

5.1 headを導入

/usr/local/elasticsearch/bin/plugin -install mobz/elasticsearch-head

5.2 ブラウザでhttp://localhost:9200/_plugin/head/ を開きます。

5.3 Marvelを導入

/usr/local/elasticsearch/bin/plugin -i elasticsearch/marvel/latest
RUN echo 'marvel.agent.enabled: false' >> /usr/local/elasticsearch/config/elasticsearch.yml

5.4 ブラウザでhttp://localhost:9200/_plugin/marvel/ を開きます。

References

公式ガイド