文字化けの原因

VS Codeではファイル作成時のデフォルトの文字コードがUTF-8だが、PowerShellではUTF-8 With BOMである必要があるため。
PowerShell ISEの場合はデフォルトの文字コードがUTF-8 With BOMとなっています。

対処法

ここではVS Codeのデフォルトの文字コードをUTF-8 With BOMに変更してしまう方法を取る。
VS Code全体に影響を与えるので、他の言語も使う人は要注意。

1.　F1を押してコマンドパレットを開いて、**preferences: Open Settings (JSON)を開く。
2.　"files.encoding": "utf8bom",　を追記する。
3.　PowerShellばっかり書く人はついでに、"files.defaultLanguage": "powershell",**も追記すると新規ファイルがPowerShellモードで立ち上がるようになって便利です。

余談

PowerShellを書く場合の選択肢として有力なのはPowerShell ISEだと思うのですが、VS Codeがかなり便利なので試してみると幸せになれるかもしれません。
インテリセンスは優秀ですし、特に頑張らなくてもデバッグも出来ますし、何より改行時のインデント周りの動きが段違いです。
PowerShellを6.0と5.1を行き来するのも右下のメニューから一瞬です。