結論：VPCを「なし」に設定する（できない場合がある） or 再作成してください
vpc_configを消してterraform applyしようとすると・・・こんなエラーが

 error deleting Lambda ENIs using Security Group (sg-XXXXX): error waiting for Lambda ENI (eni-XXXXX) to become available for detachment: timeout while waiting for state to become 'available' (last state: 'in-use', timeout: 45m0s)

手動は良くないですが色々手動でいじって以下のことがわかりました

１．ENIはセキュリティグループが利用していて削除できない
２．セキュリティグループはこんなエラーで削除できない

3 のネットワークインターフェイスが関連付けられています。 ネットワークインターフェイスを削除するか、異なるセキュリティグループに関連付ける

３．VPC接続を「なし」に設定するとEFSのアクセスポイントが削除されてエラーになっている例もあるみたいです
https://dev.classmethod.jp/articles/try-delete-lambda-eni-with-lambda-eni-finder/

４．再作成すると成功する