結論

IAMの信頼関係が間違っている可能性が高いです。

IAMでAWS Transfer for SFTP 用に作ったRoleを確認して信頼されたエンティティがtransfer.amazonaws.comになっていることを確認しましょう。

EC2でRoleとか作ってしまうとここが違うので権限が割りてられなくてConnection Closedになります。

気づいた経緯

Publicで作っていれば、外部からアクセスできる。SGの設定はない。
（VPCの場合どうなるのかよくわかってないです）

EC2インスタンスを立ててそこからsftpしてみたらConnection closedなので関係ない

 sftp -v -i ~/.ssh/id_rsa sftp-user@sftp-server

でセッションを追ってみたところ、

debug1: Authentication succeeded (publickey).

という記述があるので認証は成功している。
その後

Transferred: sent 2900, received 2924 bytes, in 2.3 seconds
Bytes per second: sent 1282.7, received 1293.3
debug1: Exit status 1
Connection closed

で異常終了しているので、ログイン後のAWSへのアクセスで問題がありそう。

Admin権限にしてみたが、やはりConnectionclosed

ログ自体が存在しない。。。
あれ？もしかしてまったくIAMの権限が渡ってない？　
あ、もしかして、AWS Transfer for SFTP 用のサービスって存在する？　した、、、すいません、、、EC2で作ってました、という落ちでした。我ながら恥ずかしい。

AWS Transfer for SFTP の良い略称知っている人がいれば教えて下さい。