0
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

【AWS SCS対策】2.5: ログ分析ソリューションを設計する。

0
Posted at

この記事は、大部分の作業をAIが担当しています。

  • 一次情報の検索...AIが担当
  • 検索した情報の要約...AIが担当
  • ファクトチェック...人間が担当

この記事はファクトチェックが済んでいません。

  • 対象知識:
    • キャプチャしたログを分析するサービスおよびツール (Athena、CloudWatch Logs フィルターなど)
    • AWS のサービスのログ分析機能 (CloudWatch Logs Insights、CloudTrail インサイト、Security Hub インサイトなど)
    • ログ形式とコンポーネント (CloudTrail ログなど)
  • 対象スキル:
    • ログ内のパターンを特定して異常や既知の脅威を指摘
    • ログの正規化、解析、関連付け

以下は タスクステートメント 2.5: ログ分析ソリューションを設計する に関して、AWS公式一次情報(User Guide / Developer Guide / AWS 規範ガイダンス / 公式ブログ)にもとづいた 重要章・リンク・要点まとめ(Markdown形式) です。
ログ分析の設計に 必要な知識・スキル(Athena や CloudWatch Logs Insights、CloudTrail Insights 等)を体系的に整理しています。

📌 1. CloudWatch Logs Insights — 公式ログクエリサービス

🔗 CloudWatch Logs Insights を使用したログデータの分析(公式ドキュメント)
→ CloudWatch Logs に格納されたログを対話的に検索・分析できるサービスです。複数ロググループをまたいだクエリやパターン検出・集計が可能です。(AWS ドキュメント)

✨ 重要ポイント

  • インタラクティブクエリ:Logs Insights 用のクエリ言語でログを自由に検索・分析できます。(AWS ドキュメント)
  • パターン検出:クエリ結果から自動的に検出されたパターンを可視化し、異常や傾向を理解できます。(AWS ドキュメント)
  • 分析サポート機能:フィールドインデックスや履歴の保存・クエリ履歴、ダッシュボード統合といった拡張機能があります。(AWS ドキュメント)

📌 2. Amazon Athena — S3 上のログ分析(SQL)

🔗 Amazon Athena 公式ドキュメント
→ Athena は S3 に保存されたログを ANSI SQL でクエリできるサーバレス分析サービス です。Athena を使うことで、単純なログ検索から複雑な結合・集計分析まで可能です。(AWS ドキュメント)

🧠 Athena でのログ分析概要

  • CloudTrailログのクエリ

    • S3 に保存された CloudTrail ログを Athena で SQL クエリできます。Trend 分析や anomalous patterns の検出にも使えます。(AWS ドキュメント)
    • 例: 匿名 API 呼び出しを抽出するクエリなど、セキュリティ分析のベースラインを作ることができます。(AWS ドキュメント)
  • Athena の柔軟性

    • ALB ログ、VPC Flow Logs など多様なログ形式をテーブル化して SQL で分析可能です。(AWS ドキュメント)
    • Parquet や ORC など列指向フォーマットを使って効率的に分析パフォーマンスを改善できます。(AWS ドキュメント)

📌 3. CloudTrail Insights — 異常検出の自動化

🔗 CloudTrail Insights(公式ドキュメント)
→ CloudTrail Insights は、API 呼び出しの基準となるパターン(正常なベースライン)を学習し、その偏差を検出してイベントを生成します。(AWS ドキュメント)

✨ 重要ポイント

  • Management & Data Events 分析:管理イベントとデータイベントそれぞれの API call rateエラー率 の変化を分析できます。(AWS ドキュメント)
  • 異常時の Insights イベント生成:異常なアクセスパターンが発生した場合、自動的に Insights イベントが生成され、分析対象ログとして扱えます。(AWS ドキュメント)

📌 4. ログ分析設計のベストプラクティス — AWS Well-Architected

🔗 ログ分析に関する AWS Well-Architected フレームワーク
→ AWS Well-Architected では、ログ収集と分析の推奨設計やツールの使い方についてベストプラクティスがまとめられています。特にログ分析におけるツールとプロセスの活用が記載されています。(AWS ドキュメント)

🔎 要点

  • CloudWatch Logs Insights と Athena の適切な組合せ

    • CloudWatch はインタラクティブなログ分析や短期クエリに有効です。
    • Athena は大規模ログセットや長期間のトレンド分析に適しています。(AWS ドキュメント)
  • ログを S3 に集約して Athena で分析

    • 長期保存と頻繁なクエリの両立を図るために、CloudWatch Logs から S3 への転送と Athena 統合を推奨しています。(AWS ドキュメント)

📌 5. CloudWatch と統合されたログ分析機能

🔗 CloudWatch の統合データとテレメトリー概要
→ CloudWatch の統合データビューでは Logs Insights のほか、OpenSearch Service やダッシュボード、自然言語クエリなどの分析機能と連携できます。(Amazon Web Services, Inc.)

🔎 分析機能

  • 自然言語クエリ:Logs Insights の結果を自然言語で要約(2025年サポート)して理解しやすくする機能が追加されています。(AWS ドキュメント)
  • OpenSearch 統合:CloudWatch Logs を Amazon OpenSearch Service に送信し、高度な検索・可視化基盤として活用できます。(Amazon Web Services, Inc.)

📌 6. ログ形式と分析対象例

📄 CloudTrail ログ形式(管理・データイベント・Insights)

  • CloudTrail は管理、データ、Insights の 3 種類のイベントを収集します。これらを含むログは 詳細なイベント情報を持つ JSON 形式 で、Athena や Logs Insights の分析対象となります。(AWS ドキュメント)

🤖 組み合わせ分析

ログ種類 推奨分析ツール 用途
API 呼び出し履歴 CloudTrail + Athena / Logs Insights 不正アクセス / 操作履歴分析
大量イベント分析 Athena + S3 トレンド / セキュリティパターン分析
リアルタイム探索 CloudWatch Logs Insights 即時異常イベント探索

📌 7. 設計の実装ポイント

  • ログ格納・統合基盤

    • CloudTrail / VPC Flow Logs / WAF / ELB ログなどを S3/CloudWatch Logs に集約し、1 つの分析データレイクを構築。(AWS ドキュメント)
  • 分析レイヤーの選択

    • 迅速な探索・トラブルシューティングには CloudWatch Logs Insights
    • 長期的分析・組織集計には Athena SQL クエリ を選択。(AWS ドキュメント)
  • 異常検知 / 正常ベースライン

    • CloudTrail Insights を有効化し、異常な API アクティビティを自動検出。(AWS ドキュメント)
  • 視覚化・ダッシュボード化

    • CloudWatch ダッシュボードや QuickSight などと連携し、分析結果を可視化します(CloudWatch 統合機能を利用)。(Amazon Web Services, Inc.)

📌 まとめ

分析ニーズ 推奨公式ツール 公式資料
インタラクティブなログ探索 CloudWatch Logs Insights (AWS ドキュメント)
大量ログの SQL 分析 Amazon Athena (AWS ドキュメント)
異常パターン検出 CloudTrail Insights (AWS ドキュメント)
長期ログ集約設計 Well-Architected ログ分析設計 (AWS ドキュメント)
視覚化・統合分析 CloudWatch 統合 / OpenSearch (Amazon Web Services, Inc.)
0
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?