0. 要約

タイトルの通りですが、
AWS Parameters and Secrets Lambda Extension は、ハンドラー関数"外"から呼び出しをすると HTTP 400 Error が出てしまいます。
そのため、ハンドラー関数"内"から呼び出しましょう！

1. はじめに...

2022年10月に、AWS Parameters and Secrets Lambda Extension が発表されました。
これまで、Lambda 関数内からパラメーターストアやシークレットマネージャーに保存した値（APIキーなど）を取得するには、Lambda 関数内からSDK を使って取得するのが一般的でした。　　
しかし、この Lambda Extension を活用することで、 パラメータ値を Lambda にキャッシュできるようになり、レイテンシーとコスト効率の点でメリットがあります。

2. 使ってみる...

詳しい使い方は、公式ドキュメントや、他のブログ記事に譲ります。（例えばこちら）
要点をまとめると、以下の作業をしています。

SecretsManager にAPIキーなどを保存
Lambda 関数に、今回の Lambda Layer を追加
Lambda の IAMロールに権限を追加

今回は、私がハマった「コードを書く場所」に焦点を当てて記事を書きます。
※ この記事を読む方は、既に使っている方が過半数だと思いますし...

2-1. 【これはNG】Handler 関数"外"から呼び出す

以下は、ハンドラー関数"外"から、Lambda Extension 経由で、 Secrets Manager に保存した API キーを取得するコードです。　　
実行結果も貼り付けていますが、HTTP Error 400: Bad Request のエラーが起き、API キーを取得できていません。

Lambda 関数のコード

lambda_function.py

import json
import os
import urllib.request

# Handler 関数"外"から、AWS Parameters and Secrets Lambda Extension 経由でシークレットの値を取得する
endpoint = 'http://localhost:2773/secretsmanager/get?secretId=SecretsManagerName'
request = urllib.request.Request(endpoint)
request.add_header('X-Aws-Parameters-Secrets-Token', os.environ['AWS_SESSION_TOKEN'])
with urllib.request.urlopen(request) as response:
    body = response.read()
secret_strings = json.loads(body.decode("utf-8"))["SecretString"]
APIKEY = json.loads(secret_strings)["APIKEY"]
print(f'GET APIKEY = {APIKEY}')

# Handler 関数
def lambda_handler(event, context):
    return {
        'statusCode': 200,
        'headers': {
            'Content-Type': 'text/plain'
        },
        'body': f'APIKEY is :{APIKEY}'
    }

実行結果

=== Function Logs [一部のみ] ===
[ERROR] HTTPError: HTTP Error 400: Bad Request

=== Response ===
{
  "errorMessage": "HTTP Error 400: Bad Request",
  "errorType": "HTTPError",
  "requestId": "",
  "stackTrace": [
    "  File \"/var/lang/lib/python3.10/importlib/__init__.py\", line 126, in import_module\n    return _bootstrap._gcd_import(name[level:], package, level)\n",
    "  File \"<frozen importlib._bootstrap>\", line 1050, in _gcd_import\n",
    "  File \"<frozen importlib._bootstrap>\", line 1027, in _find_and_load\n",
    "  File \"<frozen importlib._bootstrap>\", line 1006, in _find_and_load_unlocked\n",
    "  File \"<frozen importlib._bootstrap>\", line 688, in _load_unlocked\n",
    "  File \"<frozen importlib._bootstrap_external>\", line 883, in exec_module\n",
    "  File \"<frozen importlib._bootstrap>\", line 241, in _call_with_frames_removed\n",
    "  File \"/var/task/lambda_function.py\", line 9, in <module>\n    with urllib.request.urlopen(request) as response:\n",
    "  File \"/var/lang/lib/python3.10/urllib/request.py\", line 216, in urlopen\n    return opener.open(url, data, timeout)\n",
    "  File \"/var/lang/lib/python3.10/urllib/request.py\", line 525, in open\n    response = meth(req, response)\n",
    "  File \"/var/lang/lib/python3.10/urllib/request.py\", line 634, in http_response\n    response = self.parent.error(\n",
    "  File \"/var/lang/lib/python3.10/urllib/request.py\", line 563, in error\n    return self._call_chain(*args)\n",
    "  File \"/var/lang/lib/python3.10/urllib/request.py\", line 496, in _call_chain\n    result = func(*args)\n",
    "  File \"/var/lang/lib/python3.10/urllib/request.py\", line 643, in http_error_default\n    raise HTTPError(req.full_url, code, msg, hdrs, fp)\n"
  ]
}

↓ 実際のスクリーンショット

2-2. 【こっちだとOK】Handler 関数"内"から呼び出す

Lambda のハンドラー関数"内"からであれば、Secrets Manager に保存したAPIキーを読み込めます。

Lambda 関数のコード

lambda_function.py

import json
import os
import urllib.request

# Handler 関数
def lambda_handler(event, context):
    
    # Handler 関数"内"から、AWS Parameters and Secrets Lambda Extension 経由でシークレットの値を取得する
    endpoint = 'http://localhost:2773/secretsmanager/get?secretId=SecretsManagerName'
    request = urllib.request.Request(endpoint)
    request.add_header('X-Aws-Parameters-Secrets-Token', os.environ['AWS_SESSION_TOKEN'])
    with urllib.request.urlopen(request) as response:
	    body = response.read()
    secret_strings = json.loads(body.decode("utf-8"))["SecretString"]
    APIKEY = json.loads(secret_strings)["APIKEY"]
    print(APIKEY)
    
    return {
        'statusCode': 200,
        'headers': {
            'Content-Type': 'text/plain'
        },
        'body': f'APIKEY:{APIKEY}'
    }

実行結果

=== Function Logs [一部のみ] ===
GET APIKEY = hogehoge

=== Response ===
{
  "statusCode": 200,
  "headers": {
    "Content-Type": "text/plain"
  },
  "body": "APIKEY is :hogehoge"
}

↓ 実際のスクリーンショット

3. あれ？ Handler 関数の "内" と "外" って何が違うの？

ここまで書くと、「そもそも、なぜ Handler 関数"外"に処理を書いたのか？俺は常に Handler 関数"内"に処理を書いてるぞ！」という意見も出てくるかと思います。

実は、Lambda の Handler 関数 "外" と "内" では、実行時の挙動が異なります。

	Handler 関数 "外" に書いたコード	Handler 関数 "内" に書いたコード
動作	コールドスタート時の１回だけ実行される。	ウォームスタート時に毎回実行される。
用途	全ユーザー共通の処理や、時間のかかるライブラリの読み込み、初期化などを記載する	ユーザーごとに異なるデータがあるようなコードを記載する（DBアクセスなど）

3.1 自分の開発を振り返ってみると...

私は開発前半、APIキーを環境変数に設定し、Handler 関数 "外" から取得していました。
これは、APIキーは長期間再利用できるため、Handler関数"外"に記載/定義するのが良いと考えたためです。（実際、Lambda関連のソースコードを見ると同じような実装をよく見かけます。）
開発後半になってから、Lambda Extension を利用する構成に作り直した際、同じく Handler 関数 "外" に Secrets Manager へのアクセスコードを書いてしまったため、うまくいかないエラーに巻き込まれました。

3.2 未解決の疑問点

Handler 関数の "内" と "外" で違いがあることはご理解いただけたと思います。
しかし、なぜ、「AWS Parameters and Secrets Lambda Extension を Handler 関数外からだと呼び出せないのか？」については、すみません。私には分かりませんでした。
もし、ご存知の方がいらっしゃっいましたら、教えていただけますと幸いです。

X. 終わりに

個人開発をしていた時に、このトラブルに遭遇しました。
私は「400 Error」が権限不足に起因するもの（具体的には 401 Error）だと考え、間違った調査や修正対応をしてしまい、休日を丸１日溶かしました
こちらのナレッジが、悩める皆様の休日を救えることを祈っています。

おまけ

このナレッジは、以下のアプリ（ゲーム）を開発していた際の副産物です。
技術的な工夫点も多いアプリですので、ぜひこちらもご覧ください。

【ナレッジ】AWS Parameters and Secrets Lambda Extension は、ハンドラー関数内から呼び出さないと400Errorになる