VagrantでVirtualBoxの仮想環境を構築・起動している状態で、VSCodeから仮想環境にSSH接続を試行していると、以下のメッセージが表示されてダウンロードが終わらないで先に進めなくなる時があります。

SSH ホスト {ホスト名} を設定しています：VS Code Server をローカルでダウンロードしています

そんなときはまずコマンドプロンプト側で中に入ります。

vagrant ssh

そして、ダウンロード中のファイルを削除します。

rm -Rf ~/.vscode-server/

その後PC再起動を実施し、再度

vagrant up

からやり直してみてください。
これでだいたいうまくいきます。