！下に追記あります地味に方法変わってます。地味ですが。！

ハマったこと

Oculus Questでビルドすると、真っ暗な画面が表示されます
こちらこ記事などを参考に普通のにビルドの際にすべき設定はしたはずです
エラーも特に出ません

やったこと

Window > Package Managerから、
Oculus Androidをinstallする。以上です。

(上の写真はインストール済みのものです)

素晴らしいですね。~~(中身ない記事になりすぎて困惑している)~~

追記1(20210313)

地味に結構みられているので追記。上の方法、unity2019では非推奨、unity2020では完全になくなっている対応になっているはず。
Project SettingsのPlayerのところから、XR Plugin Management(リンク)というものをどうのこうのする対応が良いです。これ自体もPackage Manegerからインストールするものなので、根幹の、「真っ暗になったら、Package入ってるか確認する」ということは変わってなさそうですね。