AWS athena、Glueのハンズオン資料
athena glueのサービス説明
きっかけ
https://aws.amazon.com/jp/builders-flash/202401/security-contents-summary/?awsf.filter-name=*all
のブログでおすすめの本として
AWSからはじめるクラウドセキュリティという本があり、買って読んでみたところサービスの一つとしてAthenaが紹介されていたため。
セキュリティのサービスというよりログを分析することで不審な状況を判断できるという触れ込みで紹介されていました。
Glueに関してはAthenaを色々調べるうちに結構密接するサービスであったのでせっかくならやろうということで取り上げています
Athenaは、Amazon Web Services（以下、AWS）が提供するクエリサービスです。データストアに保存されたデータを、標準SQL（Structured Query Language）を使って分析することができます。
サーバレスであるので利用コスト低くて、素早く利用可能
SQLを使用しているので学習コスト低い→自分はまだ、、、
Amazon Athena +Glueの比較
２回目 athenaやglueに関する記事や動画を見ているとベストプラクティスについて色々見る
S3 + AthenaだけなのかS3 + Glue + Athena
実際にAthenaのハンズオンを行いながら2つの構成の比較をしました
https://docs.aws.amazon.com/ja_jp/athena/latest/ug/getting-started.html
https://blog.mmmcorp.co.jp/2022/11/24/athena_glue/
手順S3に任意のバケットを作成、そこにCSVファイルをアップロード
Athenaに移動
設定で参照したいS3の場所を設定
エディタでデータベースを作成
オレンジ色のところを実行
データベースで作成したものを選択可能
作成を押しS３バケットデータを選択
テーブルの作成、CSVファイルを選択、列の作成を行う
テーブルを作成を押す
クリエの実行を行うことで以下のようなテーブルができる
IAMロールの作成
AWSglueの実行
実行後クリエで内容を参照すると以下のようになる
Amazon glueを使うことにより自動でCSVの内容を判断して持ってきている
S3＋AthenaだけでよいのはS3に格納するデータについて事前に情報が把握できているとき
SQLについて抵抗感がなければわざわざGlueを使うという手間を省いて作業ができるので便利である
一方でGlueを使用することでCSVファイルを自動的に読み取りを行ってくれるのでかなり便利である
SQLやデータ型について理解ができていなくても作成できる
適当にやって文字化けした時でもGlueを使用したらデータベースの作成ができたのでより
属人化が防げるような気がしました、、