AWSにログイン > Amazon RDS に移動 > パラメータグループを選択。
「パラメータグループを作成」を押し、
パラメータグループファミリー：データベースと同じもので
グループ名：自由
説明：自由
で作成。
その後、一覧ページに移動し、作成されたパラメータグループをクリック。
パラメータ一覧が表示されるので、以下のように変更
character_set_client:utf8mb4
character_set_connection:utf8mb4
character_set_database:utf8mb4
character_set_results:utf8mb4
character_set_server:utf8mb4
innodb_large_prefix:1
innodb_file_format:Barracuda
innodb_file_per_table:1
skip-character-set-client-handshake:1
init_connect:SET NAMES utf8mb4
次に、サイドバーからデータベースに移動 > 対象のデータベースをクリック。
変更ボタンを押し、パラメータグループを今作成したものに変更。
データベースを再起動すると反映される。
参考
Amazon RDS(MySQL)でutf8mb4を使いたい場合の設定
AWS Aurora MySQL5.7互換の文字コードをutf8mb4に変更
Rails5.1でutf8mb4（絵文字）に対応させる