公式にある通りにやっても音が再生しなく困ったため、解決方法を記事にしました
再生するための準備
この手順が公式に載っておらず(探せず)苦労しました...
この準備をしないと音の再生が出来ませんでした
Stackoverflowにやり方が載ってました
Edit > Project Settings > Audio
と選択し、Spatializer pluginにGVR Audio Spatializerを設定します

GvrAudioListenerを追加
ここからの手順は公式通りです。そちらも参照していただけると、より詳細に書いてあります。
Main CameraにGvrAudioListenerコンポーネントを追加します

GvrAudioSourceを追加し鳴らしたい音を設定
GvrAudioSourceコンポーネントを追加し、AudioClipに鳴らしたい音を設定します

これで音を再生することが出来ました! ちなみにPCにヘッドホンを繋いでおけば、エディタのPlayで確認することが可能です