[まとめ記事] Elasticsearch Machine Learningに関するブログ一覧

Last updated at 2024-10-16Posted at 2023-03-22

このブログは何？

Elastic社のブログ（https://www.elastic.co/blog/ )にあるElastic (Elaticsearch)のMachine Learning 機能に関しての過去のブログ記事をまとめてみました。2023年3月現在からMachine Learning機能が登場した2017年あたりまでの記事を集計しています。

なお、Machine Learningの製品ドキュメントは以下となりますが、製品の基本的なことや詳細な部分はこちらを先に見ると良いでしょう。
https://www.elastic.co/guide/en/machine-learning/current/index.html

上記のドキュメントで多くの場合十分な情報なのかもしれませんが、読み物として詳細すぎる部分があって読みにくいと感じる部分があります。それに対してブログとしての解説記事はもう少し読みやすいものになっており、うまく両者を使うと良いと思います。

昔の記事も含まれますので、最新の製品バージョンでは多少異なる可能性があります。その点、ご了承ください
また、今回は異常検知などの監視、分析の面での記事を集めており、NLPといったサーチに関するMachine Learningは本記事の集計の対象外としています。

Anomaly Detectionのスコアリングについての解説記事

製品ドキュメントにも少し書いてありますが、ブログを読むともう少し理解が深まると思います。
Documentation: Anomaly Score Explanation

(2017年11月) 機械学習の異常スコアリングとElasticsearchの仕組み
 (2018年11月) Changes to Elastic Machine Learning Anomaly Scoring in 6.5
(2023年1月) Explaining anomalies detected by Elastic machine learning

ジョブ作成方法について補足記事

初めてのユーザーはまずこちらの製品ドキュメントを見て異常検知のジョブ作成をしてみてください。
Documentation: Run anomaly detection jobs
Documentation: Getting Started with Anomaly Detection

以下、補足として読む感じだと思います。全て見る必要はなく、知りたいところから見てみてください。

(2017年4月動画) Machine Learning Lab 1 - Single Metric Jobs
(2017年5月動画) Machine Learning Lab 2 - Multi Metric Jobs
(2017年5月動画) Machine Learning Lab 3 - Detect Outliers in a Population
(2018年2月記事) Scheduled Events and the Amorous Anomaly

(2017年7月記事) Explaining the Bucket Span in Machine Learning for Elasticsearch
(2018年9月6日記事) How to Capture Domain Knowledge in Elastic Machine Learning Jobs with Custom Rules
(2018年8月記事) How to Optimize Elasticsearch Machine Learning Job Configurations using Job Validation

Anomaly Detection結果の確認方法

製品ドキュメントとしては以下となりますが、この辺りはブログのほうが詳しく書いてあるケースがあります。
Documentation: View anomaly detection job results

(2023年1月記事) Elasticの機械学習によって検出された異常の説明
 (2019年7月記事) Find influencers faster with the machine learning Anomaly Explorer query bar
(2019年７月記事) Find influencers faster with the machine learning Anomaly Explorer query bar
(2019年4月記事) Elastic Machine Learningの注釈機能
 (2018年6月記事)Filtering Input Data to Refine Machine Learning Jobs

ユースケース: セキュリティ関連

セキュリティでElastic M/Lをどう使えるか、という内容。記事によっては内容が細かいものもあります。セキュリティ検知ルールとしてのM/Lジョブは最近のElastic Security機能に組み込まれ済みものがあるので、まずそちらを先に確認すると良いでしょう。
Documentation: Elastic Security - Anomaly Detection with machine learning

(2023年11月記事) Detecting account compromise with UEBA detection packages
(2023年2月記事) Detecting Lateral Movement activity: A new Kibana integration
(2022年3月記事) 46 days vs. 16 minutes: Detecting emerging threats and reducing dwell time with machine learning
(2021年3月記事) Detecting threats in AWS Cloudtrail logs using machine learning
(2019年4月記事) Analysing Linux auditd anomalies with Auditbeat and machine learning
(2021年7月記事) Detecting unusual network activity with Elastic Security and machine learning
(2021年5月記事) ProblemChild: Detecting living-off-the-land attacks using the Elastic Stack
(2021年3月記事) Detecting rare and unusual processes with Elastic machine learning
(2021年3月記事) Using Elastic machine learning rare analysis to hunt for the unusual

(2020年7月記事) Machine learning in cybersecurity: Detecting DGA activity in network data
(2020年2月記事) Discovering anomalous patterns based on parent-child process relationships
(2017年5月記事) 実例: Machine LearningとElasticsearchをセキュリティ分析に利用する
 (2018年10月記事) Elastic Stack、Wazuh、IDSで実践するセキュリティ分析
 (2017年8月記事) Integrating Elasticsearch with ArcSight SIEM - Part 6 - Detecting Unusual Processes with X-Pack Machine Learning