ECS fargate上のフロントとバックにドメインからルーティングしたい

実現したいこと

現在:

frontend -> 192.xxx.xx.xx : 80
api-server -> 192.xxx.xx.xx : 3000

からアクセス可能(IPはデプロイしてタスクが更新されるたびに変わる状況)

希望:

frontend -> my-domain/

api-server -> frontend -> my-domain/api   からアクセスしたい。

詳細説明

現在 AWS ECS fargate上で動く、コンテナを基盤としたwebアプリを開発しています。
ローカルではdocker-compose up で動かし、 github actionsで自動デプロイしている状況です。

タスク定義とサービスは一つだけ作成し、その中に複数のコンテナを定義しています。

開発段階では、それぞれのコンテナにアクセスするときは ipアドレス + 各々のポート番号でアクセスすれよかったのですが、実際に本番環境で運用していくためにはドメインを割り当てて行く必要があります。

おそらく、ALB等のロードバランサを使用して上手くルーティングするのだと思うのですが、何をどのようにすればいいでしょうか。 target groupをコンテナごとに割り当てて、ALBでポートごとにルーティングすれば良いと思ったのですが、target groupはサービスに紐付けるもの？なので上手くできませんでした。

リバースプロキシを作成して、自前でルーティングしたりするのでしょうか。

参考になる資料等あれば教えていただきたいです。