Qiita Teams that are logged in
You are not logged in to any team

Log in to Qiita Team
Community
OrganizationEventAdvent CalendarQiitadon (β)
Service
Qiita JobsQiita ZineQiita Blog
126
Help us understand the problem. What are the problem?

More than 1 year has passed since last update.

posted at

updated at

AWSサービスのログまとめ

はじめに

業務でAWSの各サービスログを使って、ログ分析基盤を構築することが多く
その都度、AWS公式サイトやクラスメソッドさんのDevelopers.IOのお世話になっているので
その情報を一覧性のある表にまとめてみました。

ストックついでに、テレずに、ぜひLGTMも(*´ω`)

AWSサービスログ一覧

サービス名 取得可否 ログの内容 CloudWatch Logs S3 CloudTrail 公式サイト 参考情報
Amazon Elastic Compute Cloud (EC2) OS上のあらゆるログ(CloudWatchエージェント→CloudWatch Logs) × × CloudWatch エージェントを使用して Amazon EC2 インスタンスとオンプレミスサーバーからメトリクスとログを収集する EC2インスタンス内のログをCloudWatch LogsとS3バケットに保存してみた
Amazon Elastic Compute Cloud (EC2) OS上のあらゆるログ(Kinesisエージェント→Kinesis Data Firehose→S3) × × Kinesis エージェントを使用した Kinesis Data Firehose への書き込み AWS EC2 + Kinesis Firehose + S3でApacheログを集約
Amazon Elastic Container Service (ECS) タスクのコンテナログ × × awslogsログドライバーを使用する ECS/Fargateでログ出力先をカスタマイズできる「FireLens」機能がリリースされました
Amazon Elastic Container Service (ECS) タスクのコンテナログ(FluentdまたはFluent Bit) × カスタムログルーティング ECS/Fargateでログ出力先をカスタマイズできる「FireLens」機能がリリースされました
Amazon Elastic Container Service for Kubernetes EKSコントロールプレーンの監査/診断ログ × × Amazon EKSコントロールプレーンのログ記録 -
Amazon Elastic Container Registry (ECR) ECR APIコールログ × × AWS CloudTrailを使用したAmazon ECRアクションのログ記録 -
AWS Fargate タスクのコンテナログ × × awslogsログドライバーを使用する ECS/Fargateでログ出力先をカスタマイズできる「FireLens」機能がリリースされました
AWS Fargate タスクのコンテナログ(FluentdまたはFluent Bit) × カスタムログルーティング ECS/Fargateでログ出力先をカスタマイズできる「FireLens」機能がリリースされました
AWS Lambda 関数で処理された全てのリクエストログ × × Amazon CloudWatchのAWS Lambdaログへのアクセス AWS Lambdaのログまわりに関することまとめ
Elastic Load Balancing (ALB) ALBに対するリクエストのアクセスログ × × Application Load Balancerのアクセスログ ALBのアクセスログ機能を設定してみた
Elastic Load Balancing (NLB) NLBに対するリクエストのアクセスログ × × Network Load Balancerのアクセスログ NLBのアクセスログ設定
Elastic Load Balancing (CLB) CLBに対するリクエストのアクセスログ × × Classic Load Balancerのアクセスログの有効化 -
Amazon Simple Storage Service (S3) S3バケットへのサーバーアクセスログ × × Amazon S3サーバーアクセスのログ記録 S3のアクセスログ設定方法
Amazon Simple Storage Service (S3) S3オブジェクトレベルでのAPIアクセスログ × × AWS CloudTrailデータイベントでS3バケットのオブジェクトレベルのログ記録を有効にする方法 CloudTrailでS3オブジェクトレベルのアクセスをロギングする
Amazon Elastic File System (EFS) 不可 EFSに対するNFSアクセスログは、CloudTrailのAPIログでは出力されませんでした × × × AWS CloudTrailを使用したAmazon EFS API呼び出しのログ作成 -
Amazon Aurora (MySQL互換) SQL監査ログ(MARIADB_AUDIT_PLUGIN オプション) × × Amazon Aurora MySQL DBクラスターでの高度な監査の使用 Aurora MySQLのログをAmazon ESに取り込んでみた
Amazon Aurora (PostgreSQL互換) PostgreSQL DBインスタンスのクエリログ記録 × × Amazon CloudWatch LogsへのAurora PostgreSQLログの発行 Aurora PostgreSQLの監査ログをAmazon ESに取り込んでみた
Amazon RDS (MySQL) SQL監査ログ(MARIADB_AUDIT_PLUGIN オプション) × × MySQLデータベースログファイル RDSのMySQL/MariaDBでログをCloudWatch Logsへ出力可能になりました
Amazon RDS (PostgresSQL) PostgreSQL DBインスタンスのクエリログ記録 × × PostgreSQLデータベースのログファイル RDS for PostgreSQLのログをCloudWatch Logsに出力できるようになりました
Amazon RDS (Oracle) SQL監査ログ × × Oracle Databaseのログファイル RDS for OracleがCloudWatch Logsへのログ出力をサポートしました
Amazon RDS (SQL Server) DBインスタンスのトレースファイル × × Microsoft SQL Serverデータベースのログファイル RDS for SQLServerのログをCloudWatchLogsで記録できるようになりました
Amazon RDS (MariaDB) SQL監査ログ(MARIADB_AUDIT_PLUGIN オプション) × × MariaDBデータベースログファイル RDSのMySQL/MariaDBでログをCloudWatch Logsへ出力可能になりました
Amazon DynamoDB 不可 オブジェクトに対するアクセスログ(ScanやQuery、GetItemやUpdateItem)は、CloudTrailのAPIログでは出力されませんでした × × × AWS CloudTrailを使用したDynamoDBオペレーションのログ記録 AWS CloudTrailはすべてのAWS APIコールを記録するわけではない
Amazon ElastiCache 不可 オブジェクトに対するアクセスログは、CloudTrailのAPIログでは出力されませんでした × × × AWS CloudTrailを使用したAmazon ElastiCache APIコールのログ記録 -
Amazon Neptune 監査ログ × × Amazon CloudWatch LogsへのNeptuneログの発行 Neptuneインスタンスの監査ログを取得する方法
Amazon DocumentDB (MongoDB 互換) クラスター内で実行されたイベント監査ログ(認証の成功と失敗、コレクション削除、インデックス作成) × × Amazon DocumentDB監査イベント Amazon DocumentDBがCloudWatch Logsへの監査ログ出力に対応
AWS Transfer for SFTP SFTPサーバーのアクティビティ監査ログ(認証の成功と失敗、データのPUT/GET) × × 使用状況のモニタリング AWS SFTPログをCloudWatch Logsに出力してみた
Amazon Virtual Private Cloud (VPC) VPCのフローログ × VPCフローログ VPCフローログをAmazon Athenaで分析する
Amazon CloudFront CloudFrontが受信するすべてのユーザーリクエストに関する詳細情報を含めたアクセスログ × × アクセスログの設定および使用 CloudFrontのアクセスログ設定方法
Amazon Route 53 DNSクエリログ(パブリックホストゾーンのみ) × × DNSクエリのログ記録 Route53でクエリログが取得できるようになりました
Amazon API Gateway リクエストの実行やAPIへのクライアントアクセスログ × × Amazon API Gatewayでのログ記録とモニタリング Amazon API Gatewayでアクセスログを記録する
AWS CloudTrail AWS APIコールログ - CloudTrailログファイルの取得と表示 CloudTrailとCloudWatch Logsの連携によるログのアラーム設定
AWS Config AWS設定変更履歴ログ × × コンソールによるAWS Configの設定 AWS Configの初回セットアップ
AWS Systems Manager Session Managerのセッションアクティビティログ × セッションアクティビティのログ記録と監査 AWS Systems Manager Session Managerのシェル操作をログ出力する
Amazon GuardDuty VPC FLowLogs、Route53 DNSクエリログ、Cloudtrailの相関分析による脅威検知ログ × × 結果のエクスポート Amazon GuardDutyの調査結果の視覚化
AWS Shield 不可 AWS Shieldによる検知ログは取れませんでした × × × - -
AWS WAF WebACLトラフィックログ(Kinesis Data Firehose経由) × × ウェブACLトラフィック情報のログ記録 AWS WAFのログをFirehoseでS3に出力しブロックログをS3Selectで確認してみた
Amazon Elastic MapReduce (EMR) ステップログ、HadoopおよびYARNコンポーネントログ、ブートストラップアクションログ、インスタンス状態ログ × × クラスタログとデバッグを構成する EMRのログ周りについて
Amazon CloudSearch 不可 ドキュメントに対するAPIクエリログは、CloudTrailのAPIログでは出力されませんでした × × × AWS CloudTrailを使用したAmazon CloudSearch​設定API呼び出しのログ記録 -
Amazon Elasticsearch Service  不可 ドキュメントに対するAPIクエリログは、CloudTrailのAPIログでは出力されませんでした × × × Amazon Elasticsearch Serviceのログ記録とモニタリング -
Amazon Redshift  データベースの接続とユーザーアクティビティに関するログ × × データベース監査ログ作成 Amazon Redshiftでデータベース監査ログをS3に出力する

CloudTrailの扱い

  • すべてではありませんが、多くのAWSサービスに対するAWS APIのログを取得することができます。
  • AWS APIで取得できないログは、上記表のようにCloudWatch LogsやS3で取得できるようになっています。
  • サービスへのAPI監査ログをCloudTrailの監査証跡から取得することも合わせて実施しましょう。

CloudWatch LogsからS3へのログ転送

  • CloudWatch Logsにしかログ出力できないサービスがいくつか存在します。
  • Kinesis Data Firehoseのサブスクリプションフィルタを利用することでS3にログ転送することができます。

【参考】
Kinesis Firehoseを使ってCloudWatch Logをs3へ出力してみた

まとめ

いかがでしたでしょうか?
意外とAWSサービスのログに関する情報がまとまっているサイトがなかったので
この度、自分の備忘録的な目的でまとめてみました。他にも良い情報があったら
教えて頂けると幸いです^^

Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
126
Help us understand the problem. What are the problem?