追記(2016/5/19)

5月リリースのv1.1.0にて「過剰なローカライズ」が改善されましたので、以下の動機で英語化したいという方は少なくなるかと思いますが、一応残しておきます。

祝！Visual Studio Code 1.0！

おめでとうございます。即座にアップデートしました。

えぇ……嘘でしょ……
この日本語環境、cmd(ctrl)+Pで出すこのメニューにも日本語で入力しないと反応しなくなるので、使いにくいことこの上ないです。

流石にこれはナイので、使い慣れた英語環境に戻しましょう。
画面はMacの画面ですが、他のOSでも同じように設定が可能です。

即座に終わる設定

Visual Studio Codeを起動し、Macの場合は「Cmd+P」、Win・Linuxの場合は「Ctrl+P」を入力。
出てきたテキストボックスに以下のように入力してEnter！

> 言語を

locale.jsonというファイルがオープンされるはずなので、以下のように入力しましょう。

locale.json

{ "locale": "en-US" }

これを保存してVSCodeを再起動すれば、使い慣れた英語表示に戻ります。やったぜ。
ちなみに先程のlocale.jsonは以下の場所に保存されます。
Win： C:¥Users¥（ユーザー名）¥AppData¥Roaming¥Code¥User¥
Mac： /Users/（ユーザー名）/Library/Application Support/Code/User

英語以外が使いたい人たち向け

こちらに、現在使えるlocale設定の一覧が載っていますので、
「俺は簡体字でVSCode使ったる！！！！」
という奇特な方は

locale.json

{ "locale": "zh-CN" }

とかやれば幸せになれるかもしれません。
自分はやりませんが。

以上、参考にどうぞ。