タイトルのとおりです
僕の環境は、
OS : Windows 10 Education 64bit
WSL : Ubuntu 20.04

Windows側の準備

https://www.freedesktop.org/wiki/Software/PulseAudio/Ports/Windows/Support/
ここの「zipfile containing preview binaries」からダウンロードします
適用な場所に解凍して、bin にパスを通します

etc\pulse\default.paに以下を追記します

default.pa

load-module module-waveout sink_name=output source_name=input record=0
load-module module-native-protocol-tcp auth-anonymous=1

etc\pulse\daemon.confに以下を追記します

exit-idle-time = -1

WSL側の準備

まずインストールします

sudo apt update
sudo apt install pulseaudio

/etc/pulseaudio/client.confに以下を追記します

/etc/pulseaudio/client.conf

default-server = tcp:localhost

/etc/pulse/default.paを以下のように編集します

/etc/pulse/default.pa

load-module module-native-protocol-tcp  # ここをコメントアウト

Windows側で以下を実行します

Windows

pulseaudio

WSL側で以下を実行します

WSL

sudo pulseaudio --system

適当な音声ファイルを用意して、別ウインドウで以下を実行します

WSL

ffplay test.wav

正常に再生できれば成功です

これで、firefox等のX11アプリケーションからでも音を出せるようになりました。