1. RDSのページを開いて

左のメニューのパラメータグループを開いて
右上のパラメータグループの作成を開いて
- パラメータグループファミリー
- タイプ
- グループ名
を適宜入力して作成

2. 作成したパラメータグループを開いて

フィルタパラメータにcharacter_を入力して以下のパラメータを変更して保存

character_set_results : utf8
character_set_connection : utf8
character_set_client : utf8
character_set_server : utf8mb4
character_set_database : utf8mb4
skip-character-set-client-handshake : 1

3. 日本語対応させたいデータベースを選択して

右上の「変更」を押して
データベースの設定 > DB パラメータグループ に
作ったパラメータグループを割り当てて「次へ」を押し
変更のスケジュールからすぐに適用を選んで保存

4. 一覧から再度データベースを選択して

設定タブからパラメータグループを見て
(同期中)になったら右上のアクションから再起動

5. データベースを作り直す

すでに作られたテーブルがある場合文字コードは古いままなので変更するか作り直すか
作り直すなら

$ eb ssh

でEC2にログインして

$ mysql -u$RDS_USERNAME -p$RDS_PASSWORD -h$RDS_HOSTNAME -D$RDS_DB_NAME

でDBに接続して

mysql> SHOW DATABASES;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| ebdb               |
| innodb             |
| mysql              |
| performance_schema |
| sys                |
+--------------------+
6 rows in set (0.01 sec)

mysql> DROP DATABASE ebdb;
mysql> CREATE DATABASE ebdb;
mysql> exit

てな感じでDBの作り直し
あとはテーブルやらなんやら作り直しておしまい