RDSプロキシはまだプレビュー版ということもあり、コンソール画面の変化も多く、開発進んでるんだなぁと見ていて面白いです。(CDK対応早く来て欲しい)

今回書くのは、あまり公式から作成方法が出ておらず、苦しんだ部分があったので補足する内容を載せます。
ですので、ざっくりとした切り抜きになります。

以下は、公式から出ている作成手順のブログです。

日本語ページはIAMのJSONが途中で見切れてるので、ご注意ください。
英語版は問題ありません。

補足事項

変更点1
RDSプロキシに設定する、シークレットにアクセスするIAMロールを自動で作ってくれるようになりました

公式のブログではこのJSONでIAMロール作れやと、手順に載っていますが、不要になりました。
コンソールをぽちぽちしていくと自動で作られるようになりました。
もちろん選択することも可能です

注意点1

選べないセキュリティグループがある

これはよくわかりません。
CDKで作成したセキュリティグループが表示されませんでした。バグかな？

注意点2

ブログの手順やっただけじゃ、lambdaからアクセスできない

以下の設定が必要です。

インバウンドの設定に、lambdaからの通信を許可する必要があります。
lambdaに設定されているセキュリティグループからのアクセスを許可するのがよいかと思います。

最後に

lambdaからRDSへ接続するのは、アンチパターンとされてきて、RDSプロキシがでたときには、ようやく来たかという気持ちになりました。
無い時に試したことがありますが、もうやりたくないです

DynamoDBのみでは辛い部分もあるので、これから開発が進んで、うまく両方を利用できたらよりよいアーキテクチャができるのではと楽しみです。