実施環境：

Splunk Free 8.2.2

Linux

[root@testhost ~]# uname -a
Linux testhost 4.18.0-338.el8.x86_64 #1 SMP Fri Aug 27 17:32:14 UTC 2021 x86_64 x86_64 x86_64 GNU/Linux
[root@testhost ~]# echo $SHELL
/bin/bash

0. 概要

Splunk はログ解析ソフトウェアですが、当然解析するためにはログをソフトウェア内に取り込む必要があります。
今回は以下のような自作テキストログファイルを Splunk に取り込むことを考えてみます。

Splunk

[root@testhost ~]# file /var/log/test.log
/var/log/test.log: ASCII text
[root@testhost ~]# cat /var/log/test.log
2022/08/14 12:41:40 testhost root INFO Hello World.
[root@testhost ~]#

1. インデックスを作成する

まずは、取り込んだログの保存先となるインデックスを作成します。

「設定」→「インデックス」を選択します。

インデックスの一覧画面が開くので、右上にある「新規インデックス」を押します。

すると、新規インデックスの作成画面が開きます。

インデックスで設定できる項目は結構多いですが、今回はインデックス名を「 test_index 」にして、あとはデフォルトのまま「保存」を押します。
インデックス一覧の画面に、以下の通り作成したインデックスが表示されます。

2. ソースタイプを作成する

次に、ソースタイプを作成します。
これは、取り込んだログがどのような種類のものなのかを表すもので、ログデータを項目毎に分割するためのフィールド抽出文も多くの場合これに紐づけて管理します。

「設定」→「ソースタイプ」を選択します。

ソースタイプの一覧画面が開くので、右上にある「新規ソースタイプ」を押します。

すると、新規ソースタイプの作成画面が開きます。

ソースタイプで設定できる項目も多いですが、今回は名前を「 test_log 」にして、あとはデフォルトのまま「保存」を押します。
ソースタイプ一覧の画面に、以下の通り作成したソースタイプが表示されます。

3. フィールド抽出文作成

ログデータはただ取り込むだけではあまり有効に活用はできません。
ログデータに記載されている要素を適切に分割、抽出する必要があります。
そのためのフィールド抽出文を作成します。

「設定」⇒「フィールド」を選択します。

「フィールド抽出」を選択します。

フィールド抽出文の一覧画面が開くので、右上にある「新しいフィールドの抽出」を押します。

すると、新規フィールド抽出文の作成画面が開きます。
今回は次の通りに指定します。

項目名	値
宛先 App	search
名前	test_field
適用先	ソースタイプ
名前付き	test_log
タイプ	インライン
抽出/変換	`^(?<date>\d{4}/\d{2}/\d{2})\s(?<time>\d{2}:\d{2}:\d{2})\s(?<host_name>\w)\s(?<user_name>\w)\s(?<log_level>\w)\s(?<log_message>.)$`

抽出文は正規表現で書かれ、(?<フィールド名>正規表現)の形でフィールドを抽出する箇所を指定します。
正規表現についてはここでは詳しく説明しませんので、以下のサイトを参照してください。

About Splunk regular expressions

設定を入力後「保存」を押せば、フィールド抽出文一覧の画面に以下の通り作成したフィールド抽出文が表示されます。

4. データ入力設定

さて、ここまででログデータを取り込む準備は整ったので、いよいよログの取り込みを行っていきます。

「設定」⇒「データ入力」を選択します。

今回はローカルに存在するログファイルを取り込むので、「ファイルとディレクトリ」を選択します。

データ入力設定の一覧画面が開くので、右上にある「新しいローカルファイルとディレクトリ」を押します。

最初はファイルの選択画面となるので、今回取り込むファイルのパス/var/log/test.logを入力し、「次へ」を押します。

次にソースタイプの設定画面となるので、先ほど作成した「 test_log 」を選択し「次へ」を押します。

入力設定画面となるので、 App を search 、ホストを定数値の testhost 、インデックスを先ほど作成した test_index にして「確認」を押します。

確認画面となるので、設定を確認して「実行」を押します。

以下のように表示されればデータ入力設定は完了です。

データ入力設定一覧の画面にも設定が表示されました。
あとは自動的に取り込みが行われます。

5. 確認

正常にログ取り込みができたことを確認してみましょう。

「詳細モード」で以下の SPL を実行します。

Splunk

index="test_index"

実行結果を見ると、ログデータが取り込めていることがわかります。

イベント左の「>」を押して詳細情報を開くと、正常にフィールドが抽出できていることも確認できました。