王道は、
デバイスマネージャーを開いて確認する方法です。
コマンドで確認する方法が無いかググったところ、Qiitaから下記を見つけました。
他に、もっと簡単に確認できるコマンドを探したところ、下記を見つけました。
mode | findstr "COM[0-9]*:"
シンプルですね。
ただ、これだと、以下の表示となります。
デバイス状態 COM6:
（modeコマンドの出力結果からCOMxを含む行を抜き出すだけのため）
forで項目を選択する方法も書いてありました。
for /f "tokens=2" %%A in ('mode^|findstr "COM[0-9]*:"') do echo %%A
（コマンドプロンプトで直接実行する場合は%%Aは%Aにする）
原文は"tokens=4"になっていますが、日本語Windowsだと2です。
バッチファイル化する想定でしょうが、コマンドが長いので、
自分は、↓これを直打ちします。
mode | find "COM"
COMポート番号を確認する目的としては、これで十分なので。
（なんなら、modeだけでもよい）
おまけ
pyserialを使った、pythonコードも見つけました。
Windows / Linux / MacOS に対応しています。
おまけ＜その2＞
Macの場合は、ls /dev/cu.*です。
alias lsu='ls /dev/cu.*'
自分はalias定義して、lsuにしています。
/dev/tty.*ポートだと、マイコンへのアップロードでエラーが起きることがあるので、/dev/cu.*の方を使っています。
以上です。