Visual Studio CodeをWindowsで使おうと思ってWindowsから公式サイトでダウンロードするとVSCodeSetup.exeがダウンロードできます。
これで問題ない人はこれでいいわけですが、諸事情でインストーラーが使えない人はVisual Studio CodeをWindowsで使おうと思っても使えない状態でした。
ですが、実は公式のFAQのページをよく読んでみるとWindows - Trouble with the installerという項目がいつの間にか出来ていて、この中にzipファイルのリンクがあり、これをクリックするとelectronアプリの形式のファイル群がまとめられたzipファイルをダウンロードできるので、後は公式FAQの所に書いてあるとおりにすればできるはずです。
手元のPCにWindowsがないので確かめられないのですが、解凍したファイルを見た限り、electronアプリの形式のままなので、この中のcode.exeを起動すれば問題なく使えると思います。
AtomみたいにGithubのReleaseのところにダウンロードリンクがあればいいのになと思い、同じことを感じている人がissue立ててないかと思って探してみたところ、ありました。
このissue内でVisual Studio Codeの開発チームの人と思しき方が各OSの最新配布バージョンのリンクをコメントにまとめているので、そちらも見てみるといいと思いました。