こんにちは。torippy1024です。

本日は、Splunk Cloudの管理監視機能であるCMC(Cloud Monitoring Console)についてまとめてみようと思います。

要するに以下の公式ドキュメントの要約なのですが、まあ気にしない！
この時代であれば、もはや生成AIに公式ドキュメントを要約させるだけでもいい気もしていますが、それも気にしないことにします。
https://help.splunk.com/en/splunk-cloud-platform/administer/admin-manual/10.1.2507/monitor-your-splunk-cloud-platform-deployment/introduction-to-the-cloud-monitoring-console

概要

Cloud Monitoring Console(CMC)は、Splunkに標準搭載されているMonitoring Console(CMC)機能です。SplunkのAppとして実装されており、Splunk Cloudシステムの状態を監視・管理するための機能が用意されています。
(オンプレ版のSplunk Enterpriseでは、Monitoring Consoleロールを持った別サーバーを用意する必要がありましたが、Splunk Cloudではそのようなサーバーは存在せず、代わりにSplunk CloudがAppを用意しているということになります)

Cloud Monitoring Consoleで用意しているダッシュボードの種類は以下です。(V10.1.2507.13時点)

・概要(Overview)
・健全性(Health)
・メンテナンス(Maintenance)
・アラート
・インデックス化(Indexing)
・サーチ
・使用量
・License usage
・フォワーダー
・Workload management monitoring
・Value insight(beta)

ちなみに、利用には管理者権限であるsc_adminロールの権限が必要であることに注意してください。

起動手順

CMCの利用方法は極めて簡単です。
他のSplunk Appを起動するときと同様に、Splunk Cloudにログインし、「App」-「Cloud Monitoring Console」を選択するだけです。

ダッシュボード説明

概要(Overview)

概要(Overview)画面では、Splunk Cloudの稼働状況を把握するための代表的な指標をまとめてダッシュボードで表示しています。

具体的な指標は以下の通りです。
表示内容をカスタマイズすることも可能です。
・Ingest license(ライセンス利用割合)
・Searchable storage (DDAS) license(DDAS利用割合)
・No. of active forwarders(アクティブなフォワーダー数)
・Total ingest volume(データ取り込み容量)
・Total data parsing issues(データ取り込みエラー数)
・Total indexes(インデックス数)
・Indexes with events(イベントを含むインデックス数)
・Splunk TCP closures(TCPポートのクローズ率)
・Search count(サーチ実行数)
・Long running searches(実行時間の長いサーチの数)
・Scheduled search skipped(スキップされたスケジュールドサーチの割合)

健全性(Health)

健全性(Health)画面では、Splunk Cloudの健全性を評価するための指標と、それに対応するためのアクションを表示します。

具体的には以下のような指標があります。
・フォワーダーのソフトウェアバージョン
・バケットサイズと範囲
・スキップされたスケジュールドサーチ数
・キャッシュ転送アクティビティ
・大容量メモリを消費したサーチ
・TLS証明書エラー
・無効なTLS証明書
・不明なCA証明書
：
等

メンテナンス(Maintenance)

メンテナンス画面では、過去180日間で発生したメンテナンスウインドウおよび今後30日間で発生するメンテナンスウインドウを表示します。
メンテナンスのフリーズ(凍結)の申請もこの画面で実施します。

メンテナンスをフリーズする場合は、
右上の「Request change freeze」を選択してください。

ちなみに、初期状態ではSplunk Cloud上でトークン認証が有効化されていないため、メンテナンス画面は使用できません。トークン認証を有効化すると利用できるようになるようですので、最初にトークン認証を有効化しておきましょう。実際にトークンを払い出さなければデメリットはほぼありません。
https://help.splunk.com/en/splunk-cloud-platform/administer/manage-users-and-security/10.1.2507/authenticate-into-the-splunk-platform-with-tokens/enable-or-disable-token-authentication

アラート

アラート画面では、Splunk Cloudがデフォルトで用意したサーチによるアラートを有効化することができます。デフォルトではすべて無効化されていますので、必要に応じて必要なアラートを有効化してください。

アラートを有効化すると、条件を満たした場合にSplunk Cloud上でアラートが通知されるようになります。
必要に応じてメール/Slack通知などがされるよう、アラート画面にてアクションを編集してください。

以下のようなアラートが用意されています。
・CMC Alert - 503 errors
・CMC Alert - Bucket size and range
・CMC Alert - Cache transfer activity
・CMC Alert - Certificate Common Name Mismatches
・CMC Alert - End of Life Splunk-built Apps
・CMC Alert - Heavy forwarder software version
等

インデックス化(Indexing)

インデックス化(Indexing)画面では、インデックス化パフォーマンスに関する指標を表示します。

ダッシュボードの一覧

・Indexing performance
　インデックスのスループット、キューがフルとなった割合、ブロック発生数などを表示します。

・Index detail
　インデックス内部のイベントの数やサイズなどの情報を表示します。

・HTTP Event Collector (HEC)
　HECトークンの利用状況やパフォーマンスを表示します。

・Data quality
　データ転送におけるエラー発生状況を表示します。

サーチ

サーチ画面では、サーチの実行状況の統計、スケジュールドサーチの実行状況、スキップされたスケジュールドサーチの詳細、負荷が高いサーチなどの情報を表示できます。

ダッシュボードの一覧

・Search usage statistics
　サーチの実行状況の統計を表示します。

・Scheduler activity
　スケジュールドサーチの実行状況を
　表示します。

・Skipped scheduled searches
　スキップされたスケジュールドサーチの情報を
　表示します。

・Expensive searches
　負荷の高いサーチの情報を表示します。

使用量

使用量画面では、ユーザーが利用したAppやページ数などの情報を表示できます。

ダッシュボードの一覧

・User activity
　ユーザー全体が利用しているApp数やページ数などの統計情報を表示します。

・User detail
　ユーザー毎のログイン回数、サーチ数、サーチ実行時間、具体的なサーチなどを表示できます。

License usage

License usage画面では、契約ライセンス量や消費したライセンス量を表示できます。
日次取り込み容量の他、ストレージ、Ingest Processor、AI Assistantなどのサービスがこれに含まれる可能性があります。

ダッシュボードの一覧

・Entitlements
・取り込み
・Workload
・Storage summary
・Searchable storage (DDAS)
・Archive storage (DDAA)
・Federated Search for Amazon S3
・Federated Analytics
・Ingest Processor
・AI Assistant

フォワーダー

フォワーダー画面では、Splunk Cloudにデータを転送しているフォワーダーに関する台数、種類、ソフトウェアバージョンなどの情報を表示します。

最初にフォワーダー監視機能の有効化を行う必要があります。” Forwarder monitoring setup”にて、有効化設定と監視間隔を指定してください。

ダッシュボードの一覧

・Forwarders: instance
　フォワーダーの構成やデータ転送状況を表示します。

・Forwarders: deployment
　接続が切れたフォワーダーの一覧や、フォワーダー全体のステータス割合などを表示します。

・Forwarder versions
　フォワーダーバージョンや割合などを表示します。

・Forwarder monitoring setup
　フォワーダー監視機能の初期セットアップを行います。

Workload management monitoring

Workload management monitoring画面では、ワークロード管理ルールが適用され、制御を受けたサーチなどのアクションを表示できます。
ワークロード管理ルールとは、サーチやインデックス化などのSplunk Cloudのワークロードに対し、利用可能なCPUやメモリ量のリソースを割り当てて制限することができる機能です。サーチやインデックス化ワークロードに関する利用可能なリソース量を制限したり、サーチに対して優先度を設定することができます。

Value insight(beta)

Value insight画面では、Splunk Cloud内部に格納されているデータを分析し、Splunkが現在どのようなユースケースに多く使われているか、またどのようなAppやユーザーにSplunkが使われているかなどのインサイトを提供します。
(名前の通り、現在ベータ版の機能のようです)

参考リンク

やはりというか、英語ばっかりですが・・・。

Introduction to the Cloud Monitoring Console
https://help.splunk.com/en/splunk-cloud-platform/administer/admin-manual/10.1.2507/monitor-your-splunk-cloud-platform-deployment/introduction-to-the-cloud-monitoring-console

Cloud Monitoring Console(Release Note)
https://help.splunk.com/en/splunk-cloud-platform/release-notes/10.1.2507/splunk-cloud-platform-release-notes/cloud-monitoring-console

Using the Splunk Cloud Monitoring Console effectively
https://lantern.splunk.com/Manage_Performance_and_Health/Using_the_Splunk_Cloud_Monitoring_Console_effectively

Cloud Monitoring Console’s Health Dashboard: Maximize Your Monitoring Efficiency
https://www.splunk.com/en_us/blog/platform/cloud-monitoring-console-s-health-dashboard-maximize-your-monitoring-efficiency.html

Introducing Cloud Monitoring Consoles’s New Overview Dashboard: Intuitive Actionable Insights at Your Fingertips
https://www.splunk.com/en_us/blog/platform/splunk-cloud-monitoring-console-overview-dashboard.html

Introduction to the Cloud Monitoring Console
https://help.splunk.com/en/splunk-cloud-platform/administer/admin-manual/10.1.2507/monitor-your-splunk-cloud-platform-deployment/introduction-to-the-cloud-monitoring-console

Ask questions and get help with Cloud Monitoring Console (CMC) and Monitoring Console (MC) for Splunk Platform
https://community.splunk.com/t5/Splunk-Cloud-Platform/Ask-questions-and-get-help-with-Cloud-Monitoring-Console-CMC-and/td-p/601597