はじめに
Splunkに取り込んでいるログからキーワードで検知してアラートを送る方法を（今さら）まとめます。
基本パターン
対象ログをサーチ
まずはSPLでアラート対象にしたいログを検索します。
アラートルールの作成
名前を付けて保存 > アラート
アラート定義していきます。
設定において重要なポイント
-
権限
アラート定義を他の人にも共有したければ「App内で共有」にします。 -
アラートタイプ
「スケジュール済み」にします。「リアルタイム」はサーチヘッドへの負荷がとてもとても上がってしまいますので基本的には選ばないです。
実行間隔はいくつか選べます。
ログ検知したいのでCronスケジュールで例えば5分置きとか15分置きが良いかと思います。
例えば15分置きは*/15 * * * *でcron式を書けます。
その場合に「時間範囲」は実行間隔と合わせましょう。15分置きであれば過去15分（Last 15 minutes）です。
これにより15分ごとに過去15分のログをサーチする動きになります。
-
生成条件
結果数が0より大きい（つまり1件以上検知した場合）に通知させます。
「生成条件」については「1回」は複数イベント検知しても通知はまとめて、「各結果に対して」は検知したイベント数分だけ通知されます。 -
抑制
一度通知した後に通知抑制できます。 -
アクション生成
ここで通知アクション（メール送信やSlack送信など）を選択します。
通知アクションによって設定できる内容は異なります。
メール送信の場合は宛先、件名、本文などなどを設定できます。
各項目にはサーチ結果のフィールドの内容を変数で指定できます。
詳細はこちら。
※「email」というタイトルですが、メール以外のアクションでも同様に使えます
諸々
アラート定義の編集
作成したアラートは設定 > サーチ、レポート、アラートから見れます。
編集 > アラートの編集 から編集画面が開きます。
アラートをSplunk上で確認したい
アクション生成で「生成アラートに加える」を追加することでSplunk上でも確認できます。
（アクション生成は複数定義することができます）
生成アラートはアクティビティ > 生成されたアラートから確認できます。
デフォルトで24時間（個別設定で最長7日）利用できます。
もしくは「Log Event」を使うとイベントとしてSplunkに記録できます。
こっちであれば長期間保存できたり更に加工したりできるので便利ですね。
通知アクションの追加
通知アクションはSplunkbaseで拡張することができます。
（例：MS Teams, Slack, ServiceNow, Jira etc）
「Notification」や「Alert」で検索したり、好みのツールがないか調べてみましょう。
条件付けアラート送信
条件（検知時刻やホスト名など）に応じてアラート送信先を変えたりアラート抑止したい場合もやりようはあります。
こちらでまとめています。
その他FAQ
Q: 自動アクション取れる？
A: 例えばAnsibleと連携して自動アクションできます
Q: 欲しいアクションがSplunkbaseにもないんだけど
A: 対向システムがWebhookに対応していればBetter Webhooksで任意のフォーマットでWebhook送れます。
※デフォルトでWebhookありますがフォーマットが固定されています。AWS Lambdaに送って加工するとかはできますけど。
もしくはAdd-on Builderで作りましょう！
Q: 通知済みのログをフラグ付けとかできる？
A: いやー厳しいです
まとめ
取り込み済みのログからアラートを送る方法をまとめました。
Happy Splunking!