AWSサービスのログまとめ

はじめに

業務でAWSの各サービスログを使って、ログ分析基盤を構築することが多く
その都度、AWS公式サイトやクラスメソッドさんのDevelopers.IOのお世話になっているので
その情報を一覧性のある表にまとめてみました。

ストックついでに、テレずに、ぜひLGTMも(*´ω｀)

AWSサービスログ一覧

サービス名	取得可否	ログの内容	CloudWatch Logs	S3	CloudTrail	公式サイト	参考情報
Amazon Elastic Compute Cloud (EC2)	可	OS上のあらゆるログ(CloudWatchエージェント→CloudWatch Logs)	●	×	×	CloudWatch エージェントを使用して Amazon EC2 インスタンスとオンプレミスサーバーからメトリクスとログを収集する	EC2インスタンス内のログをCloudWatch LogsとS3バケットに保存してみた
Amazon Elastic Compute Cloud (EC2)	可	OS上のあらゆるログ(Kinesisエージェント→Kinesis Data Firehose→S3)	×	●	×	Kinesis エージェントを使用した Kinesis Data Firehose への書き込み	AWS EC2 + Kinesis Firehose + S3でApacheログを集約
Amazon Elastic Container Service (ECS)	可	タスクのコンテナログ	●	×	×	awslogsログドライバーを使用する	ECS/Fargateでログ出力先をカスタマイズできる「FireLens」機能がリリースされました
Amazon Elastic Container Service (ECS)	可	タスクのコンテナログ(FluentdまたはFluent Bit)	●	●	×	カスタムログルーティング	ECS/Fargateでログ出力先をカスタマイズできる「FireLens」機能がリリースされました
Amazon Elastic Container Service for Kubernetes	可	EKSコントロールプレーンの監査/診断ログ	●	×	×	Amazon EKSコントロールプレーンのログ記録	-
Amazon Elastic Container Registry (ECR)	可	ECR APIコールログ	×	×	●	AWS CloudTrailを使用したAmazon ECRアクションのログ記録	-
AWS Fargate	可	タスクのコンテナログ	●	×	×	awslogsログドライバーを使用する	ECS/Fargateでログ出力先をカスタマイズできる「FireLens」機能がリリースされました
AWS Fargate	可	タスクのコンテナログ(FluentdまたはFluent Bit)	●	●	×	カスタムログルーティング	ECS/Fargateでログ出力先をカスタマイズできる「FireLens」機能がリリースされました
AWS Lambda	可	関数で処理された全てのリクエストログ	●	×	×	Amazon CloudWatchのAWS Lambdaログへのアクセス	AWS Lambdaのログまわりに関することまとめ
Elastic Load Balancing (ALB)	可	ALBに対するリクエストのアクセスログ	×	●	×	Application Load Balancerのアクセスログ	ALBのアクセスログ機能を設定してみた
Elastic Load Balancing (NLB)	可	NLBに対するリクエストのアクセスログ	×	●	×	Network Load Balancerのアクセスログ	NLBのアクセスログ設定
Elastic Load Balancing (CLB)	可	CLBに対するリクエストのアクセスログ	×	●	×	Classic Load Balancerのアクセスログの有効化	-
Amazon Simple Storage Service (S3)	可	S3バケットへのサーバーアクセスログ	×	●	×	Amazon S3サーバーアクセスのログ記録	S3のアクセスログ設定方法
Amazon Simple Storage Service (S3)	可	S3オブジェクトレベルでのAPIアクセスログ	×	×	●	AWS CloudTrailデータイベントでS3バケットのオブジェクトレベルのログ記録を有効にする方法	CloudTrailでS3オブジェクトレベルのアクセスをロギングする
Amazon Elastic File System (EFS)	不可	EFSに対するNFSアクセスログは、CloudTrailのAPIログでは出力されませんでした	×	×	×	AWS CloudTrailを使用したAmazon EFS API呼び出しのログ作成	-
Amazon Aurora (MySQL互換)	可	SQL監査ログ(MARIADB_AUDIT_PLUGIN オプション)	●	×	×	Amazon Aurora MySQL DBクラスターでの高度な監査の使用	Aurora MySQLのログをAmazon ESに取り込んでみた
Amazon Aurora (PostgreSQL互換)	可	PostgreSQL DBインスタンスのクエリログ記録	●	×	×	Amazon CloudWatch LogsへのAurora PostgreSQLログの発行	Aurora PostgreSQLの監査ログをAmazon ESに取り込んでみた
Amazon RDS (MySQL)	可	SQL監査ログ(MARIADB_AUDIT_PLUGIN オプション)	●	×	×	MySQLデータベースログファイル	RDSのMySQL/MariaDBでログをCloudWatch Logsへ出力可能になりました
Amazon RDS (PostgresSQL)	可	PostgreSQL DBインスタンスのクエリログ記録	●	×	×	PostgreSQLデータベースのログファイル	RDS for PostgreSQLのログをCloudWatch Logsに出力できるようになりました
Amazon RDS (Oracle)	可	SQL監査ログ	●	×	×	Oracle Databaseのログファイル	RDS for OracleがCloudWatch Logsへのログ出力をサポートしました
Amazon RDS (SQL Server)	可	DBインスタンスのトレースファイル	●	×	×	Microsoft SQL Serverデータベースのログファイル	RDS for SQLServerのログをCloudWatchLogsで記録できるようになりました
Amazon RDS (MariaDB)	可	SQL監査ログ(MARIADB_AUDIT_PLUGIN オプション)	●	×	×	MariaDBデータベースログファイル	RDSのMySQL/MariaDBでログをCloudWatch Logsへ出力可能になりました
Amazon DynamoDB	不可	オブジェクトに対するアクセスログ(ScanやQuery、GetItemやUpdateItem)は、CloudTrailのAPIログでは出力されませんでした	×	×	×	AWS CloudTrailを使用したDynamoDBオペレーションのログ記録	AWS CloudTrailはすべてのAWS APIコールを記録するわけではない
Amazon ElastiCache	不可	オブジェクトに対するアクセスログは、CloudTrailのAPIログでは出力されませんでした	×	×	×	AWS CloudTrailを使用したAmazon ElastiCache APIコールのログ記録	-
Amazon Neptune	可	監査ログ	●	×	×	Amazon CloudWatch LogsへのNeptuneログの発行	Neptuneインスタンスの監査ログを取得する方法
Amazon DocumentDB (MongoDB 互換)	可	クラスター内で実行されたイベント監査ログ(認証の成功と失敗、コレクション削除、インデックス作成)	●	×	×	Amazon DocumentDB監査イベント	Amazon DocumentDBがCloudWatch Logsへの監査ログ出力に対応
AWS Transfer for SFTP	可	SFTPサーバーのアクティビティ監査ログ(認証の成功と失敗、データのPUT/GET)	●	×	×	使用状況のモニタリング	AWS SFTPログをCloudWatch Logsに出力してみた
Amazon Virtual Private Cloud (VPC)	可	VPCのフローログ	●	●	×	VPCフローログ	VPCフローログをAmazon Athenaで分析する
Amazon CloudFront	可	CloudFrontが受信するすべてのユーザーリクエストに関する詳細情報を含めたアクセスログ	×	●	×	アクセスログの設定および使用	CloudFrontのアクセスログ設定方法
Amazon Route 53	可	DNSクエリログ(パブリックホストゾーンのみ)	●	×	×	DNSクエリのログ記録	Route53でクエリログが取得できるようになりました
Amazon API Gateway	可	リクエストの実行やAPIへのクライアントアクセスログ	●	×	×	Amazon API Gatewayでのログ記録とモニタリング	Amazon API Gatewayでアクセスログを記録する
AWS CloudTrail	可	AWS APIコールログ	●	●	-	CloudTrailログファイルの取得と表示	CloudTrailとCloudWatch Logsの連携によるログのアラーム設定
AWS Config	可	AWS設定変更履歴ログ	×	●	×	コンソールによるAWS Configの設定	AWS Configの初回セットアップ
AWS Systems Manager	可	Session Managerのセッションアクティビティログ	●	●	×	セッションアクティビティのログ記録と監査	AWS Systems Manager Session Managerのシェル操作をログ出力する
Amazon GuardDuty	可	VPC FLowLogs、Route53 DNSクエリログ、Cloudtrailの相関分析による脅威検知ログ	×	●	×	結果のエクスポート	Amazon GuardDutyの調査結果の視覚化
AWS Shield	不可	AWS Shieldによる検知ログは取れませんでした	×	×	×	-	-
AWS WAF	可	WebACLトラフィックログ(Kinesis Data Firehose経由)	×	●	×	ウェブACLトラフィック情報のログ記録	AWS WAFのログをFirehoseでS3に出力しブロックログをS3Selectで確認してみた
Amazon Elastic MapReduce (EMR)	可	ステップログ、HadoopおよびYARNコンポーネントログ、ブートストラップアクションログ、インスタンス状態ログ	×	●	×	クラスタログとデバッグを構成する	EMRのログ周りについて
Amazon CloudSearch	不可	ドキュメントに対するAPIクエリログは、CloudTrailのAPIログでは出力されませんでした	×	×	×	AWS CloudTrailを使用したAmazon CloudSearch​設定API呼び出しのログ記録	-
Amazon Elasticsearch Service	不可	ドキュメントに対するAPIクエリログは、CloudTrailのAPIログでは出力されませんでした	×	×	×	Amazon Elasticsearch Serviceのログ記録とモニタリング	-
Amazon Redshift	可	データベースの接続とユーザーアクティビティに関するログ	×	●	×	データベース監査ログ作成	Amazon Redshiftでデータベース監査ログをS3に出力する

CloudTrailの扱い

• すべてではありませんが、多くのAWSサービスに対するAWS APIのログを取得することができます。
• AWS APIで取得できないログは、上記表のようにCloudWatch LogsやS3で取得できるようになっています。
• サービスへのAPI監査ログをCloudTrailの監査証跡から取得することも合わせて実施しましょう。

CloudWatch LogsからS3へのログ転送

• CloudWatch Logsにしかログ出力できないサービスがいくつか存在します。
• Kinesis Data Firehoseのサブスクリプションフィルタを利用することでS3にログ転送することができます。

【参考】
・Kinesis Firehoseを使ってCloudWatch Logをs3へ出力してみた

まとめ

いかがでしたでしょうか？
意外とAWSサービスのログに関する情報がまとまっているサイトがなかったので
この度、自分の備忘録的な目的でまとめてみました。他にも良い情報があったら
教えて頂けると幸いです^^

2024年2月5日追記

本投稿の内容をより拡充し、より実践的な内容で書籍にまとめました。
もしご興味あれば、こちらもぜひ ^^

・AWS継続的セキュリティ実践ガイド ログの収集／分析による監視体制の構築