~/.ssh/config に以下のように設定を書きます。

gateway が踏み台サーバーで、RemoteHost-out がアクセスしたいサーバーです。

Host gateway
   HostName sshgate.hoge
   User hoge

Host RemoteHost-out
  HostName RemoteHost
  User fuga
  ProxyCommand ssh -W %h:%p gateway

ssgate.hoge, hoge, RemoteHost, fugaを適当なものに置き換えてください。

VSCode: remote-ssh

VSCode で remote-ssh という拡張機能をインストールします。
そのあとエディタの左下にある

この緑のマークをクリックします。すると自分の環境の~/.ssh/config に書かれている Hostが一覧で出てくるのでアクセスしたいやつにクリックします。
これでアクセスすることができます。ここでパスワードが必要な場合は要求されるのでパスワードに答えましょう。

エディタの右上にある

このファイルのアイコンをクリックします。

するとこのようにOpen Folder というボタンがでるのでここをクリックします。

ディレクトリ一覧が出てくるので開くディレクトリを選択します。

これで多段ssh でも VSCode で開くことができます！