はじめに
標的型攻撃やサプライチェーン攻撃という現実がますます身近になり、これまでの事前防御の対策だけでは十分ではなく、侵入や攻撃をされてしまったことを想定した早い段階での攻撃検出およびその被害状況を効率的に可視化、追跡する対策が必要といわれています。そしてその具体的な対応方法の一つとして改めて重要視されているのがログを活用した分析です。またインシデント発生時に専門家に実際の解析を依頼する場合にもこのログの有無が成否を大きく左右します。
本記事ではJPCERT/CCより「高度サイバー攻撃への対処におけるログの活用と分析方法」にて紹介されているおすすめログ設定をもとに基本的なログ解析基盤を構築してみます。本記事ではもちろん無償で利用可能なソフトウェアだけを利用して構築します。
- ネットワークログ(プロキシサーバ、メールサーバ、DNSサーバ)
またJPCERT/CCではエンドポイントログの採取、分析および可視化についてもツールを無償で提供するなど推奨しています。本記事で構築するログ解析基盤でもそのコンフィグレーションに基づいて収集してみます。
- エンドポイントログ (Windows 10)
ログ収集基盤としてElasticsearchを利用し、ネットワークログの収集対象としてプロキシサーバ(Squid)、メールサーバ(Postfix)およびDNSサーバ(Dnsmasq)のログをElastic Stackに含まれるFilebeatで収集します。
そしてエンドポイントログについては、Microsoft社から提供されている無償で利用可能なSysmonのログやセキュリティイベントログをWinlogbeatを利用して収集します。
またFilebeatについては、同製品には同梱されていないSquid、PostfixやDnsmasq用のFilebeatモジュールを作成してデプロイします。
本記事の続編は以下の通りです。
※本記事で作成するFilebeatモジュールや各ソフトウェアの設定例はこちらへ仮置きしておきます（今後、もう少しわかりやすい内容にする予定です）。
※Ubuntu18.04上で構築しますので他のディストリビューションの場合にはファイルの配置場所などを読みかえてください。
※実際の環境で運用するには、ネットワーク設定、個々のソフトウェアのインストール/初期設定や認証/通信の暗号、冗長構成や負荷分散などで相応の設定が必要となります。それぞれ個別のドキュメントをご参照ください。本記事ではログ設定に関係する基本的なコンフィグレーションにフォーカスして記載します。
#利用するソフトウェア
- OS: Ubuntu 18.04
- プロキシサーバ: Squid (3.5.27)
- メールサーバ: Postfix (3.3.0) / Dovecot (2.2.33.2)
- DNSサーバ: Dnsmasq (2.79)
- Elasticsearch (6.6.0)
- Kibana (6.6.0)
- Filebeat (6.6.0)
- VMware Workstation Player等のVMソフトウェア
- Windows 10 (クライアントPC)
- Sysmon (v9.0)
- Winlogbeat (6.6.0)
#ネットワーク構成例
ここでは以下のようなシンプルなネットワーク構成を想定。
| 説明 | |
|---|---|
| Webアクセス | Windows 10クライアントPC上のWebブラウザはインターネットへdmz.example.comで動作するプロキシサーバ(Squid)経由でアクセス |
| メール | Windows 10クライアントPC上のメールクライアントはdmz.example.comで動作するメールサーバ(Postfix/Dovecot)へアクセス |
| ログ | dmz.example.com上で動作するプロキシサーバ、メールサーバとDNSサーバのログをFilebeatがElasticsearch(log.example.com)へ転送。 Windows 10イベントログをWinlogbeatが同様に転送 |
#作業内容
- ネットワーク構築および各ソフトウェアのインストールと設定
- ネットワークソフトウェア(Squid、PostfixとDnsmasq)でのログ設定およびフォーマットを追加または変更
- ネットワークソフトウェア用のFilebeatモジュールの作成
- Filebeatモジュールをdmz.example.comに配置し設定
- SysmonおよびWinlogbeatをWindows10 PCにインストールと設定
- Kibanaで確認
#Filebeatモジュールについて
Filebeatモジュールを利用することにより、ログメッセージの加工設定（Elasticsearch/Ingestノードのパイプライン設定）およびマッピングをログ採取元(シッパー側)から注入することができます。
Elasticsearch/IngestノードとFilebeatの詳細についてはこちらの解説を、またFilebeatモジュール作成の詳細についてはこちらの公式サイトを参照ください。
"A New Way To Ingest - Part 2"(Elasticsearch社サイト)より
"Filebeat Overview"(Elasticsearch社サイト)より
Elasticsearch/Ingestノードではログメッセージをインデックスへ格納する前処理として様々な加工を実行できますが、本記事ではログメッセージのテキスト値をパーシングして必要な情報を抽出し、JSON形式（Kibanaで各情報単位で検索や集計したり、自作ツール等で扱いやすい形式）へ変換するために利用します。
FilebeatにはApacheやNginx用に利用可能なモジュールがあらかじめ同梱されており有効化するだけで利用可能です。一方でSquid、PostfixやDnsmasq用のモジュールは（現状では）含まれていないようです。そのため上述のようにイベントログのメッセージをパーシングし、JSON出力するためのモジュールを作成してみます。
ただし、モジュールといってもいくつかの必要な設定ファイル(YAMLとJSONファイル)を作成するだけでOKです。
####Squid用モジュールの例
またそれだけではなく地理情報を付加したり、不要な情報を削除したりなどパイプラインで加工処理を行います。
Filebeatが作成するインデクス名
Filebeatはログを転送する際、デフォルトで日付単位でインデクスを作成します。
curl http://192.168.2.10:9200/_cat/indices?v
health status index uuid pri rep docs.count docs.deleted store.size pri.store.size
yellow open filebeat-6.6.0-2019.04.10 1rEHhcxxxxCUu4v4bEaPhw 5 1 212 0 990.1kb 990.1kb
yellow open filebeat-6.6.0-2019.04.11 klYKHTxxxxSzvgw-asWCsg 5 1 227 0 897.5kb 897.5kb
yellow open filebeat-6.6.0-2019.04.09 SkDQFkxxxxSv7gZ4D7Hkag 5 1 673 0 1mb 1mb
yellow open filebeat-6.6.0-2019.04.12 nSe_rJxxxxaB9X9ZgzNrUw 5 1 9 0 49.4kb 49.4kb
yellow open filebeat-6.6.0-2019.04.13 R1vQM6xxxxGY084IWk3gsQ 5 1 190 0 845.8kb 845.8kb
#Filebeatモジュールの作成
Filebeatのモジュール作成方法はこちらの公式サイトで解説されていますが（テンプレートファイルを生成するMakeファイルも用意されています）、ここではFilebeatのパッケージに同梱されているApache用のモジュールを雛形にして作成してみます。
モジュール本体のファイル構成
Filebeatのインストールディレクトリ(例:/usr/share/filebeat/)配下のmodulesディレクトリに必要ないくつかのYAML/JSONファイルを決められたディレクトリ構成で配置します(これだけ！)。
/usr/share/filebeat/
`- module/
`- (モジュール名)/
|- module.yml
`- (ログファイル名)/
|- manifest.yml
|- config/
| `- (ログファイル名).yml
`- ingest/
`- default.json
- モジュール名: ログを採取するソフトウェア名です。例えばsquidやpostfix。
- ログファイル名: 各ソフトウェアが出力するログファイル名です。例えばapacheのaccess.logやerror.logからファイル拡張子を取り除いたもの。
（必ずしも上記の命名にする必要はありませんが、Filebeatに同梱されている他モジュールに合わせておきます）
例えば本トピックで扱うSquidの**/var/log/squid/access.log**では以下のような構成となります。
/usr/share/filebeat/
`- module/
`- squid/
|- module.yml
`- access/
|- manifest.yml
|- config/
| `- access.yml
`- ingest/
`- default.json
| 説明 | |
|---|---|
| manifest.yml | モジュール関連のファイルパスやElasticsearchプラグイン設定を記述 |
| access.yml | Filebeatへの入力ファイルの設定を記述 |
| default.json | IngestノードのPipeline設定を記述 |
| module.yml | ダッシュボード（Kibana）の設定を記述 |
Filebeatモジュールに記述すること
本記事では前述のとおりログメッセージをパースしてJSON形式へ変換する機能を実装します。FilebeatモジュールではIngestノードの各プロセッサの設定を行います。以下のプロセッサを利用します。
| 説明 | |
|---|---|
| Grokプロセッサ | 前述のログメッセージのテキストデータをパースしてJSON形式へ変換するプロセッサ。 パース形式を正規表現を組み合わせたパターンで記述するだけでOKです |
| Dateプロセッサ | 各ソフトウェアのログのタイムスタンプ形式をISO8601形式へ統一して扱えるように変換します |
| Removeプロセッサ | 不要な情報を削除。 Grokによってパースされた後で不要な情報をElasticsearchへ保存する前に削除します |
| User Agentプロセッサ | Webブラウザが送信するユーザエージェント情報をパースします (Squid) |
| GeoIPプロセッサ | ログメッセージに含まれるIPアドレスの地理情報を追加します (Squid) |
これらは前述のingest/default.jsonへ記述します。
#各Filebeatモジュールの設定手順
各ソフトウェアのための具体的な設定手順は次回以降の記事にご紹介しますが、ここでは概要を説明しておきましょう。
モジュールの設定ファイル作成
/etc/filebeat/
`- modules.d/
|- squid.yml
|- postfix.yml
` dnsmasq.yml
各ソフトウェア用のモジュール毎に設定ファイルを作成します。こちらもApache用の設定ファイルを雛形にして多少変更するだけです。各ソフトウェア用の記事にて詳細は説明します。
モジュールのテンプレート設定を追加
/etc/filebeat/
`- my_fields.yml
デフォルトのテンプレート設定ファイルでるfields.ymlに各ソフトウェア用のマッピング定義を追加します。こちらもApache用の定義を雛形にして変更するだけです。
Filebeatの設定を追加
/etc/filebeat/
`- filebeat.yml
| 説明 | |
|---|---|
| hosts: ["log.example.com:9200"] | Elasticsearchが動作するホストアドレスとポート番号を指定 |
| filebeat.overwrite_pipelines: true | Elasticsearchへの接続毎にIngestノードのパイプライン設定を注入（開発デバッグ用） |
| setup.template.enabled: true | テンプレート設定の注入を有効化 |
| setup.template.fields: "/etc/filebeat/my_fields.yml" | テンプレート設定ファイルの場所を変更 |
| setup.template.overwrite: true | 既存のテンプレート設定を更新 |
詳細は**/etc/filebeat/filebeat.reference.yml**を参照してください。
モジュールの有効化
filebeat modules enable モジュール名(例: squid)
モジュールのテンプレート設定をElasticsearchへ注入
filebeat setup --template
モジュールのパイプライン設定をElasticsearchへ注入
filebeat setup --pipelines -modules モジュール名,モジュール名(例:squid,postfix,dnsmasq)
#まとめ
JPCERT/CCによるおすすめログ設定（「高度サイバー攻撃への対処におけるログの活用と分析方法」）をElasticsearchを利用して構築する準備ができました。次回から実際にネットワークログのコンフィグレーション、プロキシサーバ(Squid)、メールサーバ(Postfix)とDNSサーバ(Dnsmasq)のFilebeatモジュールの作成やログ設定について説明していきます。その後にエンドポイントログ（Windows 10）のコンフィグレーションを行っていきます。
「プロキシサーバ編」へ続く
本記事の続編は以下の通りです。