アドレスバーに以下の文字列を入力して、[Enter] キーを押下するだけです：
wt -d .
Visual Studio Code のターミナル（PowerShell）からも同様に開くことができますが、表現を少し変えましょう。バックグラウンドプロセスとして起動した方が便利だからです。いつの間にかバックグラウンドプロセスであることを明示しなくてもターミナルへ戻るようになっていましたが、参考までに記載を残します：
Start-Process wt -ArgumentList "-d ."
コンテキストメニューから開く
Add a context menu entry to "Open Windows Terminal here" という PR が Preview v1.1.1671 にてマージされています。
問題が無ければ無印でも利用できるようになるでしょう。v1.4.3141.0で正式に利用可能になりました。