はじめに
Elasticsearch+Kibanaで情報を取得して可視化する際に、本番環境以外に自分自身で好き放題触れる環境が欲しかったため、CentOSの開発マシンと個人のMac端末にDocker ComposeでHTTP版のElasticsearch+Kibanaの環境を作成しました。備忘録として情報を残します。今回はElasticsearch,KibanaのDocker公式イメージだけで作成しています。カスタマイズしたい場合、別途Docker Fileを作成してbuildする必要があります。
社内proxyに阻まれそうであれば、事前に、
.bashrc、/etc/yum.conf、/etc/systemd/system/docker.service等にproxy設定をしておきます。
1 Dockerのインストール
repositoryのセットアップ
$ sudo yum install -y yum-utils
$ sudo yum-config-manager \
--add-repo \
https://download.docker.com/linux/centos/docker-ce.repo
必要なパッケージのインストール
$ sudo yum install docker-ce docker-ce-cli containerd.io
dockerの起動とバージョン確認
$ sudo systemctl start docker
$ sudo docker --version
その他のディストリビューションや別バージョンは以下の公式参照
Install Docker Engine
2 Docker Composeのインストール
必要なパッケージのインストール
$ sudo curl -L "https://github.com/docker/compose/releases/download/1.29.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
バイナリの実行権限を適用する
$ sudo chmod +x /usr/local/bin/docker-compose
バージョン確認
$ docker-compose --version
docker-compose version 1.29.2, build 1110ad01
その他のディストリビューションや別バージョンは以下の公式参照
Install Docker Compose
3 Docker ComposeでElasticsearch及びKibanaの起動
ディレクトリ構成は以下のようにしています。
任意のディレクトリ配下にelasticstackディレクトリを作成し、その配下でDocker Composeファイル群を管理しています。（今回の定義ファイルdocker-compose.ymlは最も簡易的な構成にしたため、elasticsearch.yml,kibana.ymlのマウントはしていません。マウントする場合はdocker-compose.ymlに追記します。）
./elasticstack/
├── docker-compose.yml
├── elasticsearch
│ └── conf
│ └── elasticsearch.yml
└── kibana
└── conf
└── kibana.yml
elasticstackディレクトリ配下にdocker-compose.ymlを作成します。
elasticの公式ページのElasticsearchの記述に加え、Kibanaの情報も記載します。
#docker-yml from elastic sample +kibana
version: '2.2'
services:
es01:
image: docker.elastic.co/elasticsearch/elasticsearch:7.14.0
container_name: es01
environment:
- node.name=es01
- cluster.name=es-docker-cluster
- discovery.seed_hosts=es02,es03
- cluster.initial_master_nodes=es01,es02,es03
- bootstrap.memory_lock=true
- "ES_JAVA_OPTS=-Xms512m -Xmx512m"
ulimits:
memlock:
soft: -1
hard: -1
volumes:
- data01:/usr/share/elasticsearch/data
ports:
- 9200:9200
networks:
- elastic
es02:
image: docker.elastic.co/elasticsearch/elasticsearch:7.14.0
container_name: es02
environment:
- node.name=es02
- cluster.name=es-docker-cluster
- discovery.seed_hosts=es01,es03
- cluster.initial_master_nodes=es01,es02,es03
- bootstrap.memory_lock=true
- "ES_JAVA_OPTS=-Xms512m -Xmx512m"
ulimits:
memlock:
soft: -1
hard: -1
volumes:
- data02:/usr/share/elasticsearch/data
networks:
- elastic
es03:
image: docker.elastic.co/elasticsearch/elasticsearch:7.14.0
container_name: es03
environment:
- node.name=es03
- cluster.name=es-docker-cluster
- discovery.seed_hosts=es01,es02
- cluster.initial_master_nodes=es01,es02,es03
- bootstrap.memory_lock=true
- "ES_JAVA_OPTS=-Xms512m -Xmx512m"
ulimits:
memlock:
soft: -1
hard: -1
volumes:
- data03:/usr/share/elasticsearch/data
networks:
- elastic
kibana:
image: docker.elastic.co/kibana/kibana:7.14.0
ports:
- 5601:5601
environment:
SERVER_NAME: localhost:5601
ELASTICSEARCH_HOSTS: http://es01:9200
networks:
- elastic
volumes:
data01:
driver: local
data02:
driver: local
data03:
driver: local
networks:
elastic:
driver: bridge
out of memory exceptions回避のため、docker-composeを起動する前に以下の設定を実施します。
（デフォルト値だと容量が足りず、エラーで起動できない）
$ grep vm.max_map_count /etc/sysctl.conf
vm.max_map_count=262144
$ sysctl -w vm.max_map_count=262144
docker-composeでコンテナを起動します。（-dはバックグラウンドオプション）
$ docker-compose up -d
コンテナの起動状態を確認します。
$ docker-compose ps
Name Command State Ports
-------------------------------------------------------------------------------------------------------------------
elasticstack_kibana_1 /bin/tini -- /usr/local/bi ... Up 0.0.0.0:5601->5601/tcp,:::5601->5601/tcp
es01 /bin/tini -- /usr/local/bi ... Up 0.0.0.0:9200->9200/tcp,:::9200->9200/tcp, 9300/tcp
es02 /bin/tini -- /usr/local/bi ... Up 9200/tcp, 9300/tcp
es03 /bin/tini -- /usr/local/bi ... Up 9200/tcp, 9300/tcp
コンテナが正常に起動していれば、Chrome等のブラウザから http://localhost:5601 にアクセスすると、KibanaからElasticStackの状態を確認できます。
