LoginSignup
15
11

More than 1 year has passed since last update.

SplunkのDatamodel Acceleration(高速化)について

Last updated at Posted at 2019-09-27

はじめに

  • これは個人の見解です。
  • それでもsplunkさんのnative仕様の意味不英語マニュアルを読み重ねて、参考資料を読み重ねてたどり着いたまとめです。
  • みなさんはここからdatamodelと仲良くなるスタートにしてください。

「よし、datamodelを使って高速検索だ!!って高速化サマリ?何それ?」

  • Splunkを使い倒してくると、いずれぶち当たる壁。サーチの高速化。
  • そこで出てくるdatamodelさん
  • datamodelという言葉の意味と機能、そしてコマンドがわかっているようで分からない。
  • 同時にtstatsコマンドとpivotコマンドも絡んできて、混乱の極みへ。
  • 一度、丁寧にドキュメントを読み、answerを見て、サーチを試しながら違いについて独自の見解をまとめてみました。

(結論から)整理した結果

Why思考の私にとって、**なぜ、その機能が生まれてきたのか?**を理解できるのが一番落ち着きます。機能が作られた歴史背景をたどってみて、一旦こんな感じで役割が整理できました。
とりあえずこんなときにはこれ!
スクリーンショット 2019-09-27 17.05.45.png

datamodelとは

###まずdatamodelとは?
検索しやすくするための、データセットの固まり。それがデータモデル。
スクリーンショット 2019-09-27 17.07.21.png
Yes, pivotコマンドはここで使われます
スクリーンショット 2019-09-27 17.19.46.png

でも、イベント件数が多くなるとサーチが遅くなる。。。。
そこで!データモデルアクセラレーションの誕生!

###データモデルアクセラレーション=datamodelの高速化って何?
スクリーンショット 2019-09-27 17.23.58.png

爆速のポイントは.tsidxファイル
スクリーンショット 2019-09-27 17.33.01.png

よし使ってみよう!CIM appをインストールして使いたいデータモデルを高速化!
スクリーンショット 2019-09-27 17.40.29.png

「ええい!連邦軍のモビルスーツは化け物か」
スクリーンショット 2019-09-27 17.44.33.png

|datamodelコマンドのSPLはいつ使うのか?

スクリーンショット 2019-09-27 17.48.13.png

便利なtstatsコマンドとは

スクリーンショット 2019-09-27 17.48.47.png

statsコマンドと比べてみよう

ここでもやはり。「ええい!連邦軍のモビルスーツは化け物か」
68747470733a2f2f71696974612d696d6167652d73746f72652e73332e61702d6e6f727468656173742d312e616d617a6f6e6177732e636f6d2f302f3138353735392f30623761353264372d373131312d396135612d326131392d6431646462393538623234332e706e67.png

まとめ

  1. スキーマオンザフライで取り込んだ生データから、相関分析のしやすいCIMにマッピングを行う
  2. CIMマッピング済みのデータモデルを活用して、複数ログソースを横断的に検索する
  3. 更に高速化データモデルを作成して高速集計、検索を行う

参考資料

15
11
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
15
11