前回の続き的なもの

前回はECSにあるログをAthenaから参照することを目的にした内容でしたが、
今回はLambdaから出力されるログもAthenaから参照することを目的にしています。

目的（背景）

Lambdaのログも可能な限りリアルタイムで参照したい
AthenaのテーブルをECSからのログとLambdaのログで分けることはしたくない
ロググループは一つではなく多数
ロググループ自体に入っているログの量の合計は月あたり1GBにも満たない

構成図

処理詳細

目的（背景）にも書いてあるように、ログの容量自体そこまで多くないためDataFirehoseを使ってます。
CloudWatchLogsのサブスクリプションフィルターからパターンにログレベルを指定（NOTICE WARN ERROR）して、FirehoseからS3にDIRECT PUTしています。

Firehoseの設定は下記を有効化しておきましょう。
JSON形式でログを出力していたのでメッセージデータのみにしないとAthenaでの参照がうまくいかなかったりします。

ただ、ここに仕様というなのハマりポイントがありました。

ハマりポイント

ハマったというのも自分ところの環境が悪いのか、それとも仕様なのか現状把握できていないんですが
ログイベントからのみメッセージデータを抽出した場合、下記のような出力がされていました。

{
 "owner": "111111111111",
 "logGroup": "CloudTrail/logs",
 "logStream": "111111111111_CloudTrail/logs_us-east-1",
 "subscriptionFilters": [
 "Destination"
 ],
 "messageType": "DATA_MESSAGE",
 "logEvents": [
 {
 "id": "31953106606966983378809025079804211143289615424298221568",
 "timestamp": 1432826855000,
 "message": "{\"eventVersion\":\"1.03\",\"userIdentity\":{\"type\":\"Root1\"}"
 },
 {
 "id": "31953106606966983378809025079804211143289615424298221569",
 "timestamp": 1432826855000,
 "message": "{\"eventVersion\":\"1.03\",\"userIdentity\":{\"type\":\"Root2\"}"
 },
 {
 "id": "31953106606966983378809025079804211143289615424298221570",
 "timestamp": 1432826855000,
 "message": "{\"eventVersion\":\"1.03\",\"userIdentity\":{\"type\":\"Root3\"}"
 }
 ]
}

こんな感じでLambdaのログ出力されているものに対して、メッセージデータ抽出した場合

{"eventVersion":"1.03","userIdentity":{"type":"Root1"}
\n
{"eventVersion":"1.03","userIdentity":{"type":"Root2"}
\n
{"eventVersion":"1.03","userIdentity":{"type":"Root3"} 
\n

\nが入ってS3に格納されてました。

これがかなり厄介でAthenaから参照すると、この\nの行もレコードとして認識して1レコード毎に何も無いレコードが挟まるという状態です。

この1byteを除去するためにLambda挟むの本末転倒すぎるのもあって、結局Athenaのクエリで適当なカラムに対してis not null つけて有耶無耶にするしか思いつかないのが現状

動的パーティションの何かしらのオプション使うなり、ログ形式変えればうまくできるんですかね、

~~(改行入ってないやんけ)~~