はじめに

今回は会社のイベントで Advent Calendar に参加しての記事になります。

初参加なので、まずは 1 つ記事（「Flutter API 通信で Qiita の記事を GET !」）を書いて Advent Calendar に参加してみる予定でしたが、会社から 2 つ目、 3 つ目と Advent Calendar が追加されたので、2 つ目の記事を投稿させて頂きます！

※去年は 2 つの Advent Calendar で、今年は 3 つです。来年は 4 つなのか！？

今回は、「 Amazon Athena 」を利用したログ整理です。
以前は「 Google Cloud Big Query 」を利用してログ整理を行ったのですが、諸事情により利用できなかったため「 Amazon Athena 」を利用して、大量ログを整理します。

ざっくり手順

ログ (CSV) ファイル
Amazon S3 にバケット＆フォルダ作成
AWS Glue DataBrew でログを編集
Amazon Athena で AWS Glue からテーブルを作成
Amazon Athena でクエリを利用してログを整理

イメージ

ログ (CSV) ファイル

今回のログファイルは CSV （カンマ区切り）で、下記の項目のため、CONTENT 項目を編集して Amazon Athena へ渡す必要があります。

ログファイル項目

DATE : 処理日時（ミリ秒まで）
HOST : 処理ホスト名
SERVICE : サービスレイヤー
CONTENT : ログ詳細
- A項目:AAA, B項目:BBB, C項目:CCC
  - B項目はキー項目で他のログと結合する

DATE	HOST	SERVICE	CONTENT
yyyy-mm-dd HH:MM:SS.sss	abc-host	abc-service	A項目:AAA, B項目:BBB, C項目:CCC

ログファイルの編集

"CONTENT"項目に必要な項目が入っているので、分割して各項目単位に編集が必要

DATE	HOST	SERVICE	CONTENT
yyyy-mm-dd HH:MM:SS.sss	abc-host	abc-service	A項目:AAA, B項目:BBB, C項目:CCC

　↓　編集　↓

HOST	A項目	B項目	C項目
abc-host	AAA+α	BBB+β	CCC-Θ

Amazon S3 にバケット＆フォルダ作成

「Amazon Athena のクエリ結果を保存」するフォルダを作成
「元ネタのログファイル」をアップロードするフォルダ、「編集した結果」をアップロードするフォルダを作成

作成イメージ

新規バケット
 ┣ athena  「Amazon Athena のクエリ結果を保存」するフォルダ
 ┣ in_log  「元ネタのログファイル」をアップロードするフォルダ
 ┃  ┗ ※Amazon Athena のテーブル単位にフォルダを作成
 ┗ out_glue「編集した結果」をアップロードするフォルダを作成
    ┗ ※Amazon Athena のテーブル単位にフォルダを作成

AWS Glue DataBrew でログを編集

ノーコードでサクッと編集ができる「 AWS Glue DataBrew 」で、ログを編集します。
今回は下記の順番で作業します。"レシピ"を作るのがメインになります。

データセット
プロジェクト
レシピ
ジョブ

データセット

インプットになる Amazon S3 のフォルダを選択します。
ログファイルの種類ごとに作成します。

入力項目

項目	入力値
S3 からソースを入力	インプットのログフォルダを Amazon S3 から選択
選択したファイルタイプ	CSV
CSV 区切り記号	カンマ
列ヘッダー値	最初の行をヘッダーとして扱う

プロジェクト

データセットで取り込んだデータ項目に対して、画面のスプレッドシートで確認します。
また、後述する"レシピ"を追加して項目に編集を行います。
※項目だけではなく、結合などもできる

プロジェクト作成時に選択するデータセットから参照される Amazon S3 のフォルダにログファイルが必要。
ログファイルがアップロードされてないと、[Dataset Path] cannot find any objects matching [S3 Path] のエラーになるので注意。

※青塗ばかりでよく分からないですね。こんな感じの画面って思ってください。

入力項目

項目	入力値
レシピ名	プロジェクト名＋"recipe"の自動生成
データセットを選択	"マイデータセット" -> 上記で登録したデータセット
ロール	新しい IAM ロールを作成　※以降は作成した IAM ロールを利用

レシピの登録

各項目を編集する作業をレシピにまとめます。
画面から編集操作を選択するのですが、結構な編集パターンが有ります。
レシピはバージョン管理できるので、後述する"ジョブ"への設定もバージョン単位です。

レシピの編集パターン

大項目だけで、こんなにある。
使ったこと無いですが「外れ数」「データのマスキング」は便利だなぁと思います。

-	-	-	-	-
ソート	列アクション	フィルター	フォーマット	クリーン
値の抽出	欠落している値	無効な値	重複した値	外れ数
列を分割	列をマージ	列を作成	ネスト-ネスト解除	ピボット
ユニオン	テキスト	数値をスケール	カテゴリデータエンコード	エンコード
数学関数	集計関数	テキスト関数	日付関数	ウィドウ関数
データのマスキング	暗号化	復号化	ウェブ関数	その他関数
カスタム式関数	-	-	-	-

レシピのインポート

登録（バージョン発行）したレシピは他のプロジェクトへインポートができる。
同じようなレシピはインポートして修正でサクッと完成する。

レシピは登録しなくても、画面上は作業バージョンで見えるので、登録（バージョン発行）する事を忘れがちなので注意。

レシピ

レシピはデータセットへの編集テンプレートです。
バージョン管理できます。レシピから後述する"ジョブ"へレシピをバージョン単位で設定します。

ジョブ

ジョブはデータセットで登録した Amazon S3 のフォルダから、レシピのデータ編集を加えて新たにジョブで設定した Amazon S3 のフォルダへデータファイルを作成します。
※登録時に「ジョブ作成し実行する」をクリックして最初の実行を行います

入力項目

項目	入力値
ジョブタイプ	レシピジョブを作成
ジョブ入力	データセット
データセット	上記で登録したデータセット
レシピ	上記で登録したレシピ
出力-出力先	Amazon S3
出力-ファイルタイプ	CSV
出力-区切り記号	カンマ
出力-圧縮	None
S3 の場所	上記で登録した S3 out_glue フォルダ　※「編集した結果」をアップロードするフォルダ
ロール	上記で登録したプロジェクトのロールを選択

ジョブの実行履歴

Amazon Athena で AWS Glue からテーブルを作成

Amazon Athena のクエリエディタからテーブルを作成。「AWS Glue クローラ」を選択する。

Crawler

クローラは登録した Amazon S3 のフォルダからデータを集めてテーブルを作成します。
登録後に「Run Crawler」をクリック。

入力項目

項目	入力値
Data source configuration	Not yet
Data sources	上記で登録した S3 out_glue フォルダ　※「編集した結果」をアップロードするフォルダ
IAM role	新しい IAM ロールを作成　※以降は作成した IAM ロールを利用
Target database	上記で登録したデータセット
Table name prefix	プレフィックスを記載。プレフィックスなので注意

Crawler で作成した IAMロール（ポリシー）は、Amazon S3 のリソースを限定しているので、他のジョブから Crawler を登録した際には利用できません。そのため、ポリシーを更新して共用できるように修正しました。

Amazon Athena でクエリを利用してログを整理

ここまでで、ログファイルから必要なテーブルを作成できました。
後はテーブルから"煮るなり焼くなり"ログデータをクエリで整理します。
クエリは、ほとんど Big Query と変わりません。SQL ができれば大丈夫。

おわりに

全体として処理はイメージしやすかったのですが、AWS Glue DataBrew の編集項目の選択に悩みました。選択肢の数が多いので、どれがやりたい事なのか探しました。
レシピをコピーできるは楽ですが、もっと複雑な編集が必要な場合は、Aws Glue でコードを書いた方が良さそうです。
パッとログを整理する分には、今回のやり方で十分だと感じました。

また、今回は継続的なログ整理ではなかったので、コスト面を気にしていませんが、今後は Google Cloud (Big Query) と AWS (Athena) をコストなどを含め、総合的に比較して利用するサービスを検討したいと思います。

参考（感謝）

はじめに

ざっくり手順

イメージ

ログ (CSV) ファイル

ログファイル項目

ログファイルの編集

Amazon S3 にバケット＆フォルダ作成

作成イメージ

AWS Glue DataBrew でログを編集

データセット

入力項目

プロジェクト

入力項目

レシピの登録

レシピの編集パターン

レシピのインポート

レシピ

ジョブ

入力項目

ジョブの実行履歴

Amazon Athena で AWS Glue からテーブルを作成

Crawler

入力項目

Amazon Athena で クエリを利用してログを整理

おわりに

Amazon Athena でクエリを利用してログを整理