１．この記事の背景
全然技術の話をしてなかったので、ちょっとだけ技術記事を書きたいと思いました。
あるお客様から「なんか検索結果がおかしい」と相談を受け、いろいろ調べた軌跡？です。
(開発は他社ベンダー・・・)
２．注意
この記事は私見であり、公式見解ではありません。
うまく動かない、不具合が発生する可能性など十分にあります。
ご自身で判断をお願いいたします。
３．結論
・Splunkでは、結果表示の件数に上限値がある。
・とにかく上限値を超えたデータを返してほしい場合は、1行にすべてのデータを入れる、という発想で乗り越えられる場合がある。
４．具体的なお話
背景
・ルックアップテーブルを参照し、リストにある名前をキーにログ抽出するという処理
→ ヒット件数が不足している
→ stats count by の前までは問題なくヒットしている
→ stats count by周辺を調査。制限値「10000件」の存在を知る。
Splunkの上限設定のコンフィグについて(公式ドキュメント)
問題
・オンプレだとlimits.confの書き換えで対応できそうだけど、Splunk Cloudなのですぐには対応難しい(申請がいるそうです)
調査して行き着いたこと
stas values(field_name) で乗り越えた。
「10000件」は返ってくる行数(レコード数)のこと。
データが欲しいだけなので、すべてのデータを1行にまとめて返すようにしたら取りこぼしが解消しました。
(1項目の文字数制限は調べたのですがわからず・・・)
一応お客様が求める出力になりました。(最後の疑問が残ってるので100%解決ではないですが・・・)