悩んだのでメモ書き。
xdebug.remote_hostは192.168.33.1で指定したのですが、上手く通ってくれず。
Laravelを使ってたので、コマンドライン用にも設定をしてて、コマンドラインでのxdebugは何故かローカルネットワークであれば通ってphpstormも反応してくれていたので謎だった。
原因を判明させるため、Wiresharkで対象の192.168.33.xのネットワークを確認した所、こっちまでは来ていることが判明。
後に、Windowsのファイアウォールが悪さをしていることがわかり、受信ポートを開けました。
それでも通信が出来なかったので、詳しく調べてみるとVagrantのネットワークはパブリックネットワークになるらしい。
それで、色々見てたらPHPStormがパブリックネットワークでの受信を拒否していたことが判明。この設定を許可にすることで改善することが出来ました。
5時間くらい悩んでたけど、解決できてよかった・・・