はじめに

AWSのネームサーバーを使って対応する方法はこちらの記事が参考になりました。
お名前.comのレンタルサーバーを利用している場合はネームサーバーを変更できないかと思うのでその際はこちらの記事が参考になりました。
じゃあこちらの記事で何を書くのかというと、www.サブドメイン.メインドメインという形式の第3レベルのサブドメインを用いるケースでは特殊なやり方が必要だったのでそのやり方を書きます。
（「www.サブドメイン.メインドメインという形式」ってwwwの使い方間違っているのかなとも思いつつ、シンプルに自分用にもメモが欲しかった。）
他にいい方法があったらご教授お願い致します。

環境

お名前.comのレンタルサーバーを利用
（メールサービスを利用している）
AWS CloudFront
AWS Certificate Manager

1．お名前.comでサブドメイン用のDNSレコードを作成する

目的は、DNSレコードに「default._domainkey.[サブドメイン].[メインドメイン]」を自動生成してもらう目的です。
（上記DNSレコードは本来はメールサービス用の設定な気もするがこれがないとSSL証明書エラーが発生してしまうので追加する）

まず、レンタルサーバー用のDNS設定画面へ遷移する（以下の赤枠で囲んだメニューから遷移できるやつ）
次にサブドメインを追加する（ドメイン一覧の以下の赤枠で囲んだボタンから追加できる）
サブドメインを追加してしばらくするとたくさんレコードが追加されていると思うので以下のように「default._domainkey.[サブドメイン].[メインドメイン]」形式の「ホスト名」のDNSレコードだけ残してあとは削除する
※　特にwww始まりのは削除しないとwwwを第3レベルのサブドメインに設定したサイトへのアクセスがCloudFrontにならないので注意

2. お名前.comでAWS Certificate Managerの検証用CNAMEレコードとCloudFrontのドメイン名CNAMEレコードを作成する

3. お名前.comでドメイン一覧から追加したサブドメインを削除する

何故か削除しないとお名前.comで用意した独自ドメインでCloudFront側にアクセスできないので削除します。

設定完了！

所感

謎が多い設定なので、まだまだ検証の余地ありかなと思います。。
冒頭にも書きましたが、他にいい方法があったらご教授お願い致します。