前提

こちらの拡張機能のインストールが必要です
※今までvscodeの標準機能だと思ってました。　2023/12/17 追記

launch.json

{
  // IntelliSense を使用して利用可能な属性を学べます。
  // 既存の属性の説明をホバーして表示します。
  // 詳細情報は次を確認してください: https://go.microsoft.com/fwlink/?linkid=830387
  "version": "0.2.0",
  "configurations": [
    {
      "type": "chrome",
      "request": "launch",
      "name": "作業中のhtmlファイルを開く", //任意の名前（実行とデバッグに表示される名称）
      //http://127.0.0.1:3000の部分は下記参照
      "url": "http://127.0.0.1:3000/${fileBasename}" //カレントのhtmlファイルを開く
    }
  ]
}