VagrantでVirtualBoxの仮想環境を構築・起動している状態で、VSCodeから仮想環境にSSH接続を試行していると、以下のメッセージが表示されてダウンロードが終わらないで先に進めなくなる時があります。
SSH ホスト {ホスト名} を設定しています：VS Code Server をローカルでダウンロードしています
そんなときはまずコマンドプロンプト側で中に入ります。
vagrant ssh
そして、ダウンロード中のファイルを削除します。
rm -Rf ~/.vscode-server/
その後PC再起動を実施し、再度
vagrant up
からやり直してみてください。
これでだいたいうまくいきます。