LoginSignup
0
0

More than 1 year has passed since last update.

Lambdaで(定期実行)スクレイピングの初期段階の構築をしてみた

Posted at

はじめに

AWS Labmdaで、Pythonでスクレイピングするアプリの基礎部分の構築をまとめた
CloudWatchで毎時実行する設定も組み込んだ
※LabmdamCloudWatchは永久無料で使用できるため、お気軽にご利用ください
  ↓詳細はこちら

モジュールのインストール

下記をローカルで(Macの人はターミナルで)1行ずつコマンド実行してください

mkdir packages
cd packages
pip install requests -t ./
pip install beautifulsoup4 -t ./
touch lambda_function.py

実行すると↓下記のフォルダができます(2022年2月時点)
スクリーンショット 2022-02-19 0.34.35.png

packagesフォルダを.zipで圧縮してください

Lambda作成

Lambdaのページを開きます

画面右上の「関数の作成」を押下します
スクリーンショット 2022-02-19 0.37.32.png

「関数名」に好きな名前を設定し、
「ランタイム」に「Python3.9」を選択して
「関数の作成」を押下します
スクリーンショット 2022-02-19 0.42.33.png

画面真ん中右の「アップロード元」 > 「.zipファイル」を押下します
スクリーンショット 2022-02-19 0.44.35.png

「アップロード」を押下して、前の手順"モジュールのインストール"で作成した.zipファイルを選択して
「保存」を押下します
スクリーンショット 2022-02-19 0.48.57.png

実行すると、下記のようにフォルダが増えます
スクリーンショット 2022-02-19 0.51.41.png

packages配下の"beautifulsoup4-4xxxx"などのフォルダを1つ上の階層に移動させます
スクリーンショット 2022-02-19 0.52.01.png

packagesフォルダを削除します

初期に作成した.pyファイルが無くなっていたら作成します
スクリーンショット 2022-02-19 0.52.39.png
(↑右クリックでメニューを開いた場合)

設定

「設定」を押下します
スクリーンショット 2022-02-19 1.07.57.png

「編集」を押下します
スクリーンショット 2022-02-19 1.08.08.png

メモリを"256"GB
タイムアウトを"1"分(ご自由に)
に設定して、「保存」を押下します
スクリーンショット 2022-02-19 1.08.35.png

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0