Lambdaでストリーミングレスポンスに対応する

背景

• Lambdaの関数URLを使用している。

• ストリーミングレスポンスを扱いたい。

方法

1. 関数URLの呼び出しモードをRESPONSE_STREAMに変更
   

2. 以下の環境変数を指定する。

AWS_LWA_INVOKE_MODE: RESPONSE_STREAM

以上です。めっちゃ簡単！

詳細な状況

LangChainを使用しており、ストリーミングでレスポンスを返したかった。ローカルでは正常にストリーミングでレスポンスを返すが、Lambdaにデプロイすると、意図した挙動になりませんでした😭

補足：Lambdaには、Lambda Web Adapterを使用しています。

記事のCloud FormationでAWS_LWA_INVOKE_MODE: RESPONSE_STREAMの環境変数を指定してるのを発見😭環境変数を設定したら正常に動作するようになりました。