書き始め
まず最初に記事にしてしまえば、やるであろうという願望のもと、書き始めています。
目標
AWSの以下のブログから、1日に1度、スクレイピングしてきて、新しいブログが発見できたら、そのブログのタイトルとURLを一緒に自分のアカウントにツイートさせる。
以下のアーキテクチャを目指します。
環境
- MacOS 11.6
- VisualStudio Code
- Python3.9
- Serverless Framework 2.65.0
- エンジニア二年目
参考にするサイト
- Tweeter APIの使い方:
- Scrapy(スクレイピング)の使い方：
- Serverless Frameworkを使用する際に外部モジュールをインポートする方法：
- Serverless Frameworkを使用する際に、Lambda Layerを使用する方法
- Serverless Frameworkを使用する際に運用上注意すること
実施する順番
以下の順番で記事を投稿していこうと思います。
- Serverless Frameworkを用いてLambdaの環境を整える。
- Lambdaでスクレイピングする。
- LambdaでSMS Parameter Storeを利用して安全にキーを取得する。
- LambdaでDynamoDBにデータを投入する。
- LambdaでDynamoDBにクエリを発行する。
- LambdaでTwitter APIを動かしてみる。
- Event Bridgeを利用して、Lambdaを定期実行する。
- システムアーキテクチャのまとめとServerless Frameworkで実装してみた所管
1, 2は以下。
https://qiita.com/ShiroUz/items/f6586cb2bd408749fce6