本シリーズのトップページ
https://qiita.com/robozushi10/items/68dc5f8c2df38f160fda

はじめに

職場¹ で「CI/CD ログ」や「CLI および Webアプリログ」の収集と可視化の導入の話が出てきた.
また、自宅で K8s の学習をする中で Fluentd という単語が頻繁に出てきていた.

そこで自宅の Ubuntu 18.04 マシンで docker-compose を用いて、
下図・下表のような Elasticsearch + Fluentd + Kibana (EFK) 環境を構築して検証し、
これらソフトの知見を得ることにした.

本項では以下を記す.
・文書だけでは理解できない派 の私が、Elasticsearch を図で把握するために見たサイト を書き出す

構成

No	サービス	ホスト側ポート	コンテナ側ポート	備考
1	Nginx	21337	80	採用バージョン v1.20.0. Fluentd のテストのために導入しているだけである. 本表 No 2 の Fluentd(24224) へログを配送する.
2	Fluentd	24224	24224	採用バージョン v1.13.1. 受信したログを本表 No 3 の Fluentd(34224)へ転送する.
3	Fluentd	34224	34224	採用バージョン v1.13.1. 受信したログを stdout へ出力する. 本項記載時点では Elasticsearch との連携は未である.
4	Elasticsearch	29200	29200	採用バージョン v7.14. ログ格納のためのデータストア. 日本語検索をするための analysis-kuromoji 導入あり.
5	Kibana	29601	29601	採用バージョン v7.14. Elasticsearch の視覚化

次の設定は職場環境を想定したためである.

・Fluentd を 2つ配置していること
・Elasticsearch のコンテナ側ポートを 9200 以外にしていること.
・Kibana のコンテナ側ポートを 5601 以外にしていること.

用語と図ともに圧倒的に分かりやすかった.

項目	URL
用語	Qiita - Elasticsearchの構成要素について
図	Qiita - Elasticsearchの構成要素について

RDBMS に置き換えた考え方が、個人的には合っていた.

項目	URL
用語	https://dev.classmethod.jp/articles/elasticsearch-getting-started-06/
図	https://www.devopsschool.com/blog/wp-content/uploads/2018/09/Elasticsearch-Keywords-and-Terminology.jpg

シャードの目的を把握すると理解できた気になった.

項目	URL
用語	https://dev.classmethod.jp/articles/elasticsearch-getting-started-06/#toc-5
図	https://miro.medium.com/max/700/1*u6kVsD_Yl3DY43IJAixDqw.png

項目	URL
用語	https://dev.classmethod.jp/articles/es-01/#toc-6
図	https://d2908q01vomqb2.cloudfront.net/887309d048beef83ad3eabf2a79a64a389ab1c9f/2018/11/19/DMSElasicsearch1.png

下図を見つつ「転置インデックス」についての説明文を読むことで理解できた気になった.

項目	URL	補足
図	https://www.slideshare.net/JunOhtani/elasticsearch-pyfes-201207	← P8, P9 のスライドが該当する

以上.

書籍
nginx実践入門
「Docker/Kubernetes 実践コンテナ開発入門山田明憲」
データ分析基盤構築入門［Fluentd，Elasticsearch，Kibanaによるログ収集と可視化］
検索だけじゃない Elasticsearch 入門+

URL	一言
https://qiita.com/sanyamarseille/items/1c4c31547502791ecac6
https://www.elastic.co/guide/en/elastic-stack-get-started/current/get-started-docker.html
https://qiita.com/suzuki_y/items/6365799485fa3973b916
https://qiita.com/sugikeitter/items/f3b2c57bf8bbdc47a8bc
https://github.com/sugikeitter/elasticsearch-kibana-docker/blob/master/docker-compose.yml
https://gitya107.hatenablog.com/entry/2018/06/15/170334
http://ittoo.jugem.jp/?eid=737
https://qiita.com/kaibadash@github/items/9cfb532696dc8711e408	日本語検索を可能にする
https://qiita.com/mserizawa/items/8335d39cacb87f12b678	日本語検索を可能にする
https://github.com/deviantony/docker-elk	ELK を構築するための docker-compose が公開されている
https://dev.classmethod.jp/articles/es-01/	index, document, type の説明が簡潔に RDMS に例えられていて良かった
http://www.tech-joy.work/article/a20180527115811.html	/etc/elasticsearch/elasticsearch.yml の記述例と説明あり
https://qiita.com/Esfahan/items/3c07bfbb57c7098e9531	3台に Elasticsearch を導入した場合の手順あり