ELBのログを見る（障害調査等でよくやるやつ）

はじめに

何かあった時には、ログを見れば大丈夫でしょ！
というものの、何もしないでも見れると思っていて、実際やってみるとうまく見れないのはよくあることです。
ELB（ALB）のログもすぐ見るにはどうしたら。。。

ELBのログ

ELBを構築する際にアクセスログの出力先としてS3のバケットを設定します。
ELBのログはS3へ出力されますので、その中身を見れば良いです。

ELB出力状況

アクセスがあった後にELB出力先S3バケットを見ると、ログが出力されています。
何も考えず、ログを見るために各ファイルをダウンロードし、中身を見ていくことになりますが、これはきつい。。。

S3のログファイルを見る方法

そんな時使えるのが、Amazon Athenaになります！

Amazon AthenaでELBログを見る

Amazon Athenaは、SQLを用いてS3に格納されたファイルを横断的に検索することができるサービスになります。
しかも、ALBのログをみるためのテーブル定義が公式ドキュメントに掲載されています。

CREATE EXTERNAL TABLE IF NOT EXISTS alb_logs (
            type string,
            time string,
            elb string,
            client_ip string,
            client_port int,
            target_ip string,
            target_port int,
            request_processing_time double,
            target_processing_time double,
            response_processing_time double,
            elb_status_code int,
            target_status_code string,
            received_bytes bigint,
            sent_bytes bigint,
            request_verb string,
            request_url string,
            request_proto string,
            user_agent string,
            ssl_cipher string,
            ssl_protocol string,
            target_group_arn string,
            trace_id string,
            domain_name string,
            chosen_cert_arn string,
            matched_rule_priority string,
            request_creation_time string,
            actions_executed string,
            redirect_url string,
            lambda_error_reason string,
            target_port_list string,
            target_status_code_list string,
            classification string,
            classification_reason string
            )
            ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.RegexSerDe'
            WITH SERDEPROPERTIES (
            'serialization.format' = '1',
            'input.regex' = 
        '([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*):([0-9]*) ([^ ]*)[:-]([0-9]*) ([-.0-9]*) ([-.0-9]*) ([-.0-9]*) (|[-0-9]*) (-|[-0-9]*) ([-0-9]*) ([-0-9]*) \"([^ ]*) (.*) (- |[^ ]*)\" \"([^\"]*)\" ([A-Z0-9-_]+) ([A-Za-z0-9.-]*) ([^ ]*) \"([^\"]*)\" \"([^\"]*)\" \"([^\"]*)\" ([-.0-9]*) ([^ ]*) \"([^\"]*)\" \"([^\"]*)\" \"([^ ]*)\" \"([^\s]+?)\" \"([^\s]+)\" \"([^ ]*)\" \"([^ ]*)\"')
            LOCATION 's3://your-alb-logs-directory/AWSLogs/<ACCOUNT-ID>/elasticloadbalancing/<REGION>/';

では、実際にやってみます。

１. Amazon Athenaでワークグループを作成します。

ワークグループ名、クエリ結果の出力先（S3バケット）等を設定します。

２. 左メニューにあるクエリエディタを開きます。

３. 公式ドキュメントにありましたCREATE文を利用してテーブルを作成します。

LOCATIONの部分のみ、自分の環境に合わせて修正する必要があります。

LOCATION 's3://your-alb-logs-directory/AWSLogs/<ACCOUNT-ID>/elasticloadbalancing/<REGION>/';

実行すると、以下のように成功と表示されます。

非表示にしていた箇所にもテーブルが追加されます。

これで準備完了です！
実際にログを見てみます。

４. 右上の「＋」ボタンから新規クエリフィールドを表示させます。

５. 発行するクエリを入力し、実行します。

今回は、ある特定の時間帯の5XXエラーのログを抽出します。

↓↓ クエリ内容

SELECT * FROM alb_logs
WHERE elb_status_code >= 500
    AND parse_datetime(time,'yyyy-MM-dd''T''HH:mm:ss.SSSSSS''Z') 
    BETWEEN parse_datetime('2022-03-03-00:00:00','yyyy-MM-dd-HH:mm:ss') 
     AND parse_datetime('2022-03-04-00:00:00','yyyy-MM-dd-HH:mm:ss') 

↓↓ 実行

すると、結果が下に表示されます。

503で返却されていることもわかります。

時系列で並べることもできますし、「結果をダウンロード」をクリックすると、結果をCSVファイルでダウンロードすることができます。あとは、Excelなど好きなもので見ていただいてOKです。

ELBのログの中身

ログの内容については、以下に記載がありますので、照らし合わせて確認すると良いです。

まとめ

今回は、ELB（ALB）のログをAmazon Athenaで表示させて確認しました。使い方がわかると調査がグッと楽になるので、ぜひ活用していただければと思います。個人の備忘録的な記事ですが、誰かの役に立てば幸いです。

他にもAWSサービスで出力されるログについては、ログのクエリについて情報が公式ドキュメントに載っていますので活用できます。

Athenaはスキャンされたデータ量で料金が発生しますので、ご注意を。
では。