VSCodeでは終了後、再度開くと前回開いていたフォルダやSSHセッションに自動的に接続するような設定になっていると思います。
この設定をオフにします。

解決

以下の設定をsetting.jsonに追記します。

// 前回開いていたウィンドウを復元しない
"window.restoreWindows": "none"

参考：`window.restoreWindows`

なお、window.restoreWindowsに指定できる値としては以下のようなものがあるようです。


`preserve`	常にすべてのウィンドウを前回の状態で開く。
`all`	すべてのウィンドウが再度開かれるが、新規のフォルダ等を指定して起動していた場合は新しいウィンドウとして開かれる。
`folders`	すべてのウィンドウが再度開かれるが、新規のフォルダ等を指定して起動していた場合はそのフォルダのみが開かれる。
`one`	前回最後にアクティブだったウィンドウだけが１つだけ復元。
`none`	前回のウィンドウは再度開かず、空のウィンドウを表示。