xargs -a <(aws ecs list-tasks --cluster=[your cluster name] --service-name=[your service name] | jq '.taskArns[0] | split("/")[2]') -I{} aws ecs execute-command --cluster [your cluster name] --task {} --container [your container name] --interactive --command '/bin/sh'
list-tasksで取得できる一番古いfargateタスク内の特定のコンテナにsshできます。
最初はlist-tasksの結果をパイプでxargsに渡していましたがこれだと Cannot perform start session: EOF
となり失敗するはずです。
参考にした記事: https://stackoverflow.com/questions/30044927/xargs-exec-command-with-prompt