＃とある業務で「id変換表を参照して URL をリダイレクト」させる必要があったので、サーバレスで実現できるか検証をした際の備忘録
1. 要件
-
サイトA：https://example-A.com をクローズする。ただし、サイトAの一部のページはサイトB：https://example-B.com へ移植して、サイトAクローズ後も閲覧できるようにする（ここではページの移植作業については割愛）。
-
サイトAの移植対象ページのURLは、サイトAクローズ後も生かしておく。そのURLへアクセスすると、サイトBの移植後のURLへリダイレクトさせる。
-
サイトAの移植対象ページのURLの例
https://example-A.com/before/demo.php?id=100002 -
サイトBの移植先ページのURLの例
https://example-B.com/after/10100002 -
移植先のサイトBの id は移植元のサイトAの id と異なるものになってしまうため、id 変換表を用意する。
-
id変換表の例
before after
100000 10100000
100001 10100001
100002 10100002
100003 10100003
100004 10100004
100005 10100005
2. システム概要
2.1 id変換表作成
-
CSV形式のデータを DynamoDB へインポートする。ただし、CSV形式のデータは、そのままのフォーマットでは DynamoDB へインポートできないため、インポート用のフォーマットに整形する必要がある。
-
S3, AWS Data Pipeline を使う。
-
DynamoDB インポート形式のファイルを S3 バケットへアップロードする。Data Pipeline で S3 バケットファイルのデータを DynamoDB のテーブルへインポートする。
2.2 リダイレクト設定
-
Route53, ALB, Lambda(ALBのターゲット), DynamoDB を使う。
-
元の構成
-
リダイレクト構成案１
-
今回は、この方法で構築した。
-
リダイレクト用ALBを用意する。
-
リダイレクト開始は、Route 53 で サイトA の Aエイリアスレコードを サイトA の ALB から リダイレクト用 ALB へ変更する。
-
リダイレクト構成案2
-
サイトAのALBを使用する。
-
リダイレクト開始は、サイトA の ALB のターゲットグループを、リダイレクト用Lambdaを設定したターゲットグループへ変更する。
3. システム構築
3.1 id変換表を作成
-
DynamoDB テーブルを作成する
-
テーブル名： id-mapping
プライマリキー： before (文字列）
-
CSVファイルを作成する
-
作業PCで次のような csv ファイルを作成する。
id-mapping.csvbefore,after s,s 100000,10100000 100001,10100001 100002,10100002 100003,10100003 100004,10100004 100005,10100005
- CSVファイルを DynamoDB インポート用のフォーマットへに整形する
- 下記サイトの python スクリプトをそのまま利用する。
【参考】CSVを整形してDynamoDBにインポートできるようにするPythonスクリプト
$ python3 csv2json.py
CSVのパスを入力：id-mpping.csv
$ cat id-mapping.json
{"before": {"s": "100000"}, "after": {"s": "10100000"}}
{"before": {"s": "100001"}, "after": {"s": "10100001"}}
{"before": {"s": "100002"}, "after": {"s": "10100002"}}
{"before": {"s": "100003"}, "after": {"s": "10100003"}}
{"before": {"s": "100004"}, "after": {"s": "10100004"}}
{"before": {"s": "100005"}, "after": {"s": "10100005"}}
-
整形された id-mapping.json ファイルを置く S3バケットを作成する
-
S3バケット名を 「dynamodb-datapipeline-************ 」 とする （ "************" はユニークな文字列）。
-
S3バケット 「dynamodb-datapipeline-************」 に「csv」というフォルダを作成する。
-
Data Pipeline を作成する
-
Name: import dynamodb from s3
Source: Import DynamoDB backup data from S3 -
Input S3 folder: s3://dynamodb-datapipeline-************/csv/
Target DynamoDB table name: id-mapping
Region of the DynamoDB table: ap-northeast-1 -
IAM roles： default
【参考】AWS Data Pipeline の IAM ロール
-
Data Pipeline を Activate する
-
Data Pipeline の裏で、EMRクラスターとEC2が作成されている。それらのプロビジョニングが完了するまで、Data Pipeline のステータスは「WAITING_FOR_RUNNER」になっている。
-
EMR クラスターのステータス
-
EMR クラスターのプロビジョニングが終わると、Data Pipeline の DynamoDB インポート処理が実行される。完了すると、ステータスは「FINISHED」となる。
-
EMR クラスターは終了済となり、EMPクラスターやEC2が削除される。
-
DynamoDB 「id-mapping」 テーブルにデータがインポートされていることを確認する。
3.2 リダイレクト設定 - リダイレクト構成案1 のシステムを構築する
-
リダイレクト用 ALB 作成
-
ALB 名を 「redirect」 とする。
-
Lambda にアタッチする IAM ロールを作成する
-
ロールを使用するサービスで 「lambda」 を選択
-
次のポリシーをアタッチする（今回は検証なので、FullAccessにしている）。
AmazonDynamoDBFullAccess
AWSLambdaBasicExecutionRole -
ロール名を 「lambda_redirect」 とする。
-
Lambda作成
-
一から作成
関数名： redirect
ランタイム： Python 3.7
実行ロール： lambda_redirect
-
トリガーを追加
-
トリガーの設定
Application Load Balancer: redirect
リスナー： HTTPS:443
ホスト： example-A.com
パス: ＊ （ワイルドカード)
-
トリガーの設定が完了すると、ALB redirect のリスナーとターゲットグループに Lambda の設定が自動的に反映される。
-
HTTPS:443 のリスナーのルール設定
-
ターゲットグループ: lambda-25bxlPn0KCbRK4JVO3Ii
-
ターゲットグループ: lambda-25bxlPn0KCbRK4JVO3Ii のヘルスチェック設定
-
ヘルスチェックの編集
-
有効化
パス： /healthcheck
-
Lambda関数作成（これがこのシステムの肝）
-
関数コード
-
実際のコード
import boto3
from botocore.exceptions import ClientError
from boto3.dynamodb.conditions import Key
import logging
logger = logging.getLogger()
logger.setLevel(logging.INFO)
def lambda_handler(event, context):
logger.info(event)
for key, value in event["queryStringParameters"].items():
if key == "id":
table = boto3.resource("dynamodb").Table("id-mapping")
item = table.get_item(Key={"before":value})
if ("Item" in item):
after_id = table.get_item(Key={"before":value})["Item"]["after"]
location = "https://example-B.com/after/" + after_id
response = {
"statusCode": 302,
"isBase64Encoded": False,
"headers": {
"Location": location
}
}
return response
else:
response = {
"statusCode": 302,
"isBase64Encoded": False,
"headers": {
"Location": "https://example-B.com"
}
}
return response
else:
response = {
"statusCode": 302,
"isBase64Encoded": False,
"headers": {
"Location": "https://example-B.com"
}
}
return response
if ( event["path"] == "/healthcheck" ):
response = {
"statusCode": 200,
"isBase64Encoded": False,
"headers": {
"Content-Type": "text/html; charset=utf-8"
}
}
return response
else:
response = {
"statusCode": 302,
"isBase64Encoded": False,
"headers": {
"Location": "https://example-B.com"
}
}
return response
-
コードの概要
-
「https://example-A.com/before/demo.php?id=100002」 というリクエストを Lambda が受け取ったら、queryStringParameters にクエリ文字列 「id=100002」が格納される。
【参考】ALBがAWS Lambdaに必要な変更を行った後の変換済みリクエストの例 -
id=100002 の値 「100002」 をキーとして、DynamoDB から 「10100002」を取り出して、リダイレクト用のURL 「https://example-B.com/after/10100002」 を生成して、リダイレクトする。
-
id の値が DynamoDB テーブルにない場合は、「https://example-B.com」 へリダイレクトする。
-
クエリ文字列がない場合は、 「https://example-B.com」 へリダイレクトする。
-
「https://example-A.com/healthcheck」 リクエストは、ステータスコード 200 を返す。
-
「/healthcheck」パス以外のすべてのリクエストは、「https://example-B.com」 へリダイレクトする。
-
テスト
-
クエリ文字列「id=100002」のテストを作成する
↓
↓
テスト実行
Location： https://exapmpe-B.com/after/10100002 -
クエリ文字列「id=100010」（DynamoDBに存在しない）のテストを作成する
↓
Location： https://exapmpe-B.com -
「/healthcheck」のテスト
↓
statusCode: 200 -
「/test1/test2」のテスト
↓
Location： https://exapmpe-B.com -
テストが問題なければ、リダイレクト時のステータスコードを 302 から 301 に変更して、
Route 53 で サイトA の Aエイリアスレコードを サイトA の ALB から リダイレクト用 ALB へ変更して、リダイレクトを開始する。