背景
データ分析に AWS を使えることを知ったので、AWS データレイクハンズオンを試して、実際に分析パイプラインを構築してみる。
ハンズオンに取り組む
Lab4: アプリケーションログの永続化と長期間データの分析と可視化
主に使用するサービス:
- Kinesis Data Firehose
- S3
- Athena
- QuickSight
Section1: S3, Kinesis Data Firehose の設定
Step1: S3 バケットの作成
Step2: Kinesis Data Firehose の作成
特に問題なく作成できた。
Section2: EC2 の設定変更
Step1: IAM ロールのポリシー追加
Step2: Fluentd の設定
特に問題なく設定できた。
Section3: Glue Crawler, Athena の設定変更
Step1: IAM ロールのポリシー追加
Step2: Glue Crawler を使ったスキーマの自動作成
Step3: Athena でクエリ実行
Step4: QuickSight の設定
QuickSight は、スタンダード版で設定した。