Logstashとは
Logstashは、Elastic社が提供するリアルタイムのパイプライン機能を備えたデータ収集管理ツールのことです。
オープンソースであり、ELK(ElasticSearch、Logstash、Kibana)スタックの一部です。Logstashは、大量かつ多様なデータを利用して、分析を促進します。
Logstashキーコンセプト、および、内部アーキテクチャ
Event Object
Logstashパイプラインにおけるデータ・フローをカプセル化Logstashの主目的です。 Logstashは、入力データを格納し、フィルタ段の間に作成された余分なフィールドを追加するには、このオブジェクトを使用しています。
Logstashは、イベントを操作するために、開発者にイベントAPIを提供しています。このチュートリアルでは、このイベントは、データイベント、ログイベント、ログデータ、入力ログデータ、出力ログデータなどのログのような様々な名前で呼ばれています。
LogstashPipeline
入力から出力にLogstashにおけるデータフローステージの備えます。入力データは、パイプラインに入力され、イベントの形で処理されます。次いで、ユーザまたはエンドシステムの望ましい形式で出力先に送信します。
Inputs
さらなる処理のためLogstashのデータを取得するために使用されLogstashパイプラインの最初の段階です。 Logstashは、異なるプラットフォームからデータを取得するために、様々なプラグインを提供しています。最も一般的に使用されるプラグインのいくつかは - File, Syslog, RedisのとBeatsです。
Filters
これは、イベントの実際の処理が行わLogstash、中盤です。開発者は、受け付けた入力イベントのためのイベントと基準のフィールドを区別するためのシーケンスを作成するLogstashによって事前に定義された正規表現パターンを使用することができます。
Logstashは望ましい構造にイベントを解析して変換する開発者を支援するために、様々なプラグインを提供しています。最も一般的に使用されるフィルタプラグインのいくつかは - Grok, Mutate, Drop, Clone とGeoIPです。
Outputs
これはLogstashの中期段階で、イベントの実際の処理が行われます。開発者はLogstashによる事前定義済みのRegex Patternsを使用して、イベント内のフィールドと受け入れられた入力イベントの基準を区別するためのシーケンスを作成できます。
Logstashは、開発者がイベントを解析して望ましい構造に変換するのに役立つさまざまなプラグインを提供します。最も一般的に使用されているフィルタープラグインのいくつかは - Grok、Mutate、Drop、CloneそしてGeoipです。
すごい簡単な構造の概要になりますが、以上になります。
また今度Logstashパイプラインの例で説明したいと思います。
Logstashのインストール手順
参考
こちらを参考に自分の思いを記載させていいただきます。
https://www.elastic.co/guide/jp/logstash/current/introduction.html