LoginSignup
3
2

More than 3 years have passed since last update.

SplunkでCustom Datamodelを作ってリンク分析 by Sigbay

Last updated at Posted at 2020-12-02

はじめに

  • リンク分析とは?
    • リンク分析とは、電話通話、FAX 通話、メールなど 2 者(または 1 対多)の間に発生する通信データの頻度に注目し、n者間のつながりをグラフによってビジュアル化することで、互いに関係を持っている特定グループを発見する方法である。
    • 参考記事:リンク分析
  • SplunkのAppにも色々なリンク分析用の可視化appがあります
  • そんな中、.con20のとあるセッションで最新のリンク分析appの紹介がありましたのでそれを試してみた話です。

Sigbay Appとは

  • SplunkパートナーのSibgay社が作成して無償で提供しているappです。 スクリーンショット 2020-11-30 13.18.58.png
  • Sigbay Link Analysis は、技術者ではないビジネスユーザーが大量の複雑なデータから実用的な洞察を得ることを可能にします。という可視化のappです。
  • Appの特徴

使い方

Sigbay appのダウンロード&インストール

  • Splunk baseの以下リンクからSigbay社のサイトに飛んでアカウント登録してダウンロードします。

  • ダウンロードしたAppをSplunkにインストール

Sigbay appで読むデータの準備(カスタムDMAの作成)

  • Sigbayを使う時はDMA必須です。なのでカスタムDMAを用意します。

    • 今回の対象データはstream:httpです。
      • このときの記事で用意したデータを利用
  • まずDMAを1から作成

    • [設定] - [データモデル]のページに移動
  • 新しいデータモデルを以下のように作成

スクリーンショット 2020-11-30 14.03.20.png

  • ポイントは[データセット]から[ルートイベント]を選択

スクリーンショット 2020-11-30 14.06.26.png

  • データセットの名前とIDは適当に、ポイントは制約にDMA化したいデータの検索を入力すること
    • この例の場合、不要なデータをDMA化したくないのでstream:http内のuri_path=loginかつuser=が含まれるデータに絞り込んでいます。

スクリーンショット 2020-11-30 14.05.24.png

  • 初期設定状態は最低限のフィールドしか認識していませんので、DMA化したいフィールドを追加していきます。
    スクリーンショット 2020-11-30 14.11.04.png

  • [フィールドの追加] - [自動抽出]にてフィールドを選択していきます

スクリーンショット 2020-11-30 14.12.34.png

  • DMAに含めたいフィールドをクリックしていき保存します

スクリーンショット 2020-11-30 14.12.28.png

  • 権限を他のappからも参照できるように設定しておきます

スクリーンショット 2020-11-30 14.17.17.png

  • データモデルをAcceleration(高速化)していきます!

スクリーンショット 2020-11-30 14.15.24.png

  • [高速化]にcheckをいれて、サマリー範囲を任意の期間に指定して保存

スクリーンショット 2020-11-30 14.18.51.png

  • 高速化処理が走り出すとデータモデル設定画面から稲妻アイコンが黄色くなります。

スクリーンショット 2020-11-30 14.20.45.png

  • 高速化のステータスが100.00%完了になったらDMAが完成していることになります。

  • SPLコマンドでcheckしてみましょう

|tstats count from datamodel=webauth by webauth.src webauth.http_user_agent webauth.url

スクリーンショット 2020-11-30 14.24.59.png

  • これでSigbayで分析するデータの準備が整いました。

Sigbay appで可視化

  • ちゃんとした使い方はappのダウンロード時に提供されるガイドとyoutube動画を見てみてください。

  • まず|makeresultsコマンドの実行結果をもとにパネルをダッシュボードに組み込みます(ダミーサーチが必要な模様)
    スクリーンショット 2020-11-30 14.29.12.png

  • 該当パネルを編集し、作成したデータモデル、データセット、フィールド、Aggregatesを指定していきます

スクリーンショット 2020-11-30 14.30.35.png

  • スルスルっとフィールドが見えてきました!

image.png

  • srcフィールドの気になる値をマウスでクリックすると、紐づくuser,password,action,http_user_agentがリンクされてハイライトされました

image.png

  • 今度はuserのadminをクリックしてみます
    image.png

  • adminを使ってアクセスしてきたsrcがハイライトされてピボット調査ができます!

コメント

  • おしゃれなスパイダーネットよりもおそらく実用的
    • 大容量のデータポイントになっても表示が崩れることがない
  • DMA必須なのでこの記事を参考にDMAに慣れてください!
3
2
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
3
2