AWS S3/SQS/Lambda/SNSにCloud9を連携し、メール通知を行ってみる[04]

こんにちは。
株式会社クラスアクト インフラストラクチャ事業部の大塚です。

今回はAWS S3,SQS,Lambda,SNS環境にCloud9をベースとしたDjango環境を追加して、Django経由でS3に何らかのデータがアップロードされた際にメールが通知される環境を構築していきたいと思います。
今回が想定では最後となります。

前回の記事は以下となります。

また、DjangoからS3にデータを送るために以前私が作った以下の記事も軽く見てます。

全体の流れは以下にまとめています。

最終的な構築イメージ

以下環境を作っていきます。今回はCloud9/Djangoを実装していきます。

DjangoのPJ

DjangoのProjectは以下GitHubをご覧ください

構築

Cloud9でサーバ立ち上げ、環境セットアップ

以下のパラメータでCloud9環境をデプロイします。

Cloud9に入って以下のコマンドを実行します

pip3 install django boto3
django-admin startproject qiita
cd qiita/
mkdir static 
mkdir templates

作成したstaticとtemplatesディレクトリにそれぞれcssとhtmlを作成し以下の状態にします。

S3設定

Cloud9/Djangoの受皿となるS3のCORS設定に以下を追加します。

[
    {
        "AllowedHeaders": [
            "*"
        ],
        "AllowedMethods": [
            "GET",
            "PUT",
            "POST",
            "DELETE"
        ],
        "AllowedOrigins": [
            "*"
        ],
        "ExposeHeaders": []
    }
]

ACCESSキーとSECRET ACCESSキーを用意する

IAMを開きユーザを作成します。
ユーザの作成を押下します。

名前はなんでも大丈夫です。

ポリシーを直接アタッチを選択します。
許可ポリシーのところでEC2とS3を検索し、それぞれのFullAccessポリシーにチェックを入れます。


ユーザの作成が出来たら、右上にあるアクセスキーを作成を押下します。

以下を選択し、次に進みます。

アクセスキーとシークレットアクセスキーが確認できるようになりますので控えます。控えたら完了を押下します。

Cloud9/Djangoの作り込み

settings.pyやurls.py,views.py,各種html/cssはGutHubを参考に設定してください。
settings.pyはimport os等をしていたり、クロスサイトリクエストフォージェリ関係の設定をコメントアウトして無効化してます。他にもこまごまと設定を修正しています。
またviews.pyでアップロード先のＳ３バケットを名前で指定してあげてください（Arnではありません。）

その後、ACCESS KEYとSECRET ACCESS KEYを.bashrcに記載し、永続的に登録します。

ec2-user:~/environment $ cd ../..
ec2-user:~ $ ls -a
.   .aws           .bash_logout   .bashrc  .cache      .gitconfig  .local   .npm  .profile  .ssh     .zshrc       go            package-lock.json
..  .bash_history  .bash_profile  .c9      .codeintel  .gnupg      .mkshrc  .nvm  .rvm      .zlogin  environment  node_modules  package.json

ec2-user:~ $ vi .zshrc

# Add RVM to PATH for scripting. Make sure this is the last PATH variable change.
export PATH="$PATH:$HOME/.rvm/bin"
export AWS_ACCESS_KEY_ID="IAMのアクセスキー"
export AWS_SECRET_ACCESS_KEY="IAMのシークレットアクセスキー"

ec2-user:~ $ source ~/.zshrc

Lambdaの関数修正

以下のように修正し、アップロードされたファイル名、アップロード先のS3バケット名を通知メールに記載するようにします。

import boto3
import json

client = boto3.client('sns')

def lambda_handler(event, context):
    # SQS メッセージをパース
    for record in event['Records']:
        # SQS メッセージの body を JSON として読み込む
        message = json.loads(record['body'])
        # S3 イベント通知データを取得
        s3_info = message['Records'][0]['s3']
        # バケット名を取得
        bucket_name = s3_info['bucket']['name']
        # オブジェクトのキーを取得
        object_key = s3_info['object']['key']

        # SNS に送るメッセージを作成
        subject = 'File Uploaded to S3'
        message = f'A file has been uploaded to S3: {object_key} in bucket {bucket_name}'

        # SNS トピックにメッセージを公開
        params = {
            'TopicArn': 'arn:aws:sns:ap-northeast-1:310016072763:qiita-sns',
            'Subject': subject,
            'Message': message
        }
        client.publish(**params)

テスト

Cloud9のターミナルでpython3 manage.py runserver 0.0.0.0:8080と入力します。するとターミナルの右上に"Your code is running～"とURLが表示されていると思います。このURLをクリックします。

するとDjangoにWebブラウザでアクセスることが出来ます。
ファイルを選択します。


ファイルが表示されていることを確認し、アップロードします。

S3の画面に移動し、Djangoの画面で選択したファイルがアップロードされていることを確認します。

また、SNSで登録したメールアドレスにメッセージが届ていることを確認します。Lambdaを修正したことでファイル名とS3バケット名が表示されていますね。