ElasticStackの歴史

目的

Elasticsearchを勉強しようと思い、案外に資料も少なく、ホームページの英文記事読むのも大変でした。ここで何回かを分けてElasticStackから勉強できたことを共有したいと思います。

歴史

ElasticStackが生まれる前にELKスタックというログ分析用のオープンソースフレームワークが使われました。

Elasticsearch　→　オープンソース、APIです、さまざまなログ分析および検索に使われてる。
Logstash　→　オープンソース、さまざまなソースからデータを収集して変換し、希望する送信先に送信できます。
Kibana　→　オープンソース、Elasticsearchに保存されたデーターを可視化にするツール。

そこからBeatsというのもを加え、新しいブランドのElasticStackが誕生しました。

ElasticStack とは

ELKより新しいメンバーのBeatsも含めて、構成は以下のようになってます。

流れの説明

①Beatsから収集されたデーターはElasticsearchに送る
②Beatsから収集されたデーターはlogstashに送る
③logstashが一回送られたデーターを処理してElasticsearchに送る
④Elasticsearchがため込んだデーターをkibanaを通じて可視化にする

Beatsとは

Beats(ビーツ)とは、オープンソースデータ収集/転送プラットフォームです。つまり運び屋だと思ってください。ここで注意が必要なのは、Beatsは単独ではなくて運び屋の総合名前です。この中にログファイルの転送やってるFilebeat、CPUやメモリ、RedisやNGINXなど、システム統計情報を集計するMetricbeat、ネットワークパケットを集計するPacketbeatなどなどあります。
他にもいろいろあるので、ここにてご参照ください。

Beatsとlogstashの違い

Beatsとlogstash全部データー収集仕事して、何が違う？
以前beatsがない時にlogstashがデーター収集の仕事をしてました。今、主にBeatsがデーター集計し、logstashがデーターの分割などの処理をするそうです。

次の記事

次回Elasticsearchについて解説します。