はじめに
AWSをほとんど使ったことがなかった私がAWS上でちょっとしたものを作る際に、
考えていたことや調べたサイトなどをメモ書きとして残します。⚠︎自分用のため読みづらかったらすみません。。
作りたいもの
定期的に特定のアプリのAppStoreレビューをスクレイピング => 整形 => データ格納 => 集計 => 可視化をAWS上でできるように構築したい
作る前注意点
AWS 高額請求やGCP 高額請求で検索するとやらかした話が思った以上に出てくる。。
そのため下記は必ず
-
AWS 高額請求 対策などで検索して認証や予算、請求アラートなどの設定 - 各ツールの
料金設定を確認 - EC2などのインスタンスはすぐ
削除(AWSを学ぶ上では立ち上げ続ける必要はないはず) - 極力
サーバーレスを意識(安価になることが多い)
学習手順
1. どこから学べば良いか分からん。とりあえずUdemyで学んでみる
- Udemy これだけでOK！ AWS 認定ソリューションアーキテクト – アソシエイト試験突破講座
-
Udemy AWS Certified Data Analytics Specialty 2021 - Hands On!=> 英語動画かつ基礎知識が無さすぎて無理でした。。
AWS初期設定と分析基盤に関係ありそうな動画だけ視聴しながらハンズオンしAWSに慣れる
ただどんなツールが必要か？どのように連携させるか？がまだ掴めない-> 似たようなものを作ってる記事を見つけて真似することから始めた方が良いかも。
2. 同期の方が分析基盤構築のアウトプットをQiita記事に
今回APIは使わないが作りたいものは似ているかも！AWSではどのように実現できるのか？
3. GCPとAWSの対応が把握する
AWS Batch (labmda 定期実行と検索したらEvent Bridgeが良いと判明), SNS or SQS, Lambda, S3, Athena or Bigquery, QuickSightを使えば実現できるのでは？
それぞれのツール概要をAWSサービス別資料で把握する。
4. それぞれのモジュールを少しずつ繋げていく
AWS Lambda スクレイピング, Lambda 外部ライブラリ使用方法, Lambda S3保存, Lambda SNS 連携, Lambda S3トリガー, Athena QuickSight 連携などで検索しコードを改修&繋げていく
実際に作ったもの
詳細は後日追記予定