似たような記事はググればいっぱいあるのですが、
結構やり方変わっていてここまで行くのに苦労したのでまとめてみました。

インストール

一般的な手順は割愛。
UnityHubをインストールして最新のSDKを入れてください。
（執筆時点で2022.3.14f1）
プレリリースの方に2023の方がありますが入れないほうが無難です。
Unityは毎年3月ぐらいに前年度のLTS版を作成していて、2023の方はまだLTSに入っていないので。

ただ、Android用のSDKはインストールが必須です。
（Questは中身がAndroidなのでAndroidむけにビルドします）

プロジェクト設定

プロジェクト作成

UnityHubから新規プロジェクトを作成を押して、3Dコアを選んでプロジェクト作成を押下する。
参考記事の方はURPで作っていますが、Rendererの設定に苦労するので初心者はやめたほうがいいです。
※プロジェクト名にカタカナが入っていますが英数字以外プロジェクト名に入れないでください、ビルドに失敗して後で修正しました

Meta XR SDKのインストール

起動したらWindow→Asset Storeとクリック。

Search onlineをクリックしてWebのAsset Storeに行きます。

Asset StoreでOculusで検索

検索で出てきた

Meta XR Core SDK
Meta XR Interaction SDK（もしかしたらこの手順にはいらないかも）
Meta XR Interaction SDK OVR Integration
を取得する。

もしくは

Meta XR All-in-One SDK
でもOKです。
Oculus Integration (Deprecated)
がありますがこちらはDeprecatedなので不要です。
（元々こちら1個で足りていたのですが、59からSDKごとに分割されたそうです
　実質All-in-one SDK？違いは調べていないです）

終わったらPackage Managerを起動する

Package Managerの左上からMy Assetsに変更

先程ダウンロードした3つのSDKをインストールする
（初回だとDownload→Installが必要）

Core SDKインストール時にRestart Editorと出るのでそれも実行する

Project Settings

Edit→Project Settings...を選択

Oculusタブを選択（私はデフォルトで出ていました）
Android Settingsを選択（デフォルトはPCになっていたのでこちらは変更が必要です）

XR Plug-in Managementを選択
Plug-in ProvidersからOculusにチェックを付ける

その配下のOculusのメニューを選択し、Android settingを選択
Quest Pro と　Quest 3のチェックを付ける

Build Settings

File→Build Settingsを選択

左のPlatformからAndroidを選択、Development Buildにチェックを付けて、Switch Platformを実行する

オブジェクトの配置

Ovr Camera Rigの設置

最初から置いてあったMainCameraを削除する

Oculus→Tools→Building Blocksを選択

Camera RigをHierarchyタブにドラッグアンドドロップする

確認用にGrabbable Itemsもドラッグアンドドロップする

HierarchyタブのGrabbable ItemのPositionをY:1　Z:0.5に変更する
（座っているとこれぐらいの位置がつかみやすい）

Questの設定

設定が終わっていて行えなかったので参考記事のこの部分を見てください。
手順は変わってなかったです。

ビルド

File→Build Settingsの右側、Run Device でQuest 3を選択し、Build And Runを押す。

APKの名前は適当でいいです。

Quest 3をかぶり、しばらく待つ。
初回は結構長いので気長に待ちましょう。
2回目からは早くなります。

目の前にブロックが浮かんだサンプルが起動します。
（このブロックは手で掴めます）

PathThrough設定

部屋が汚いのでここからは画像なしで。（すみません）

Passthroughを追加する

Oculus→Tools→BuildingBlocksからPassthroughをHierarchyにドラッグアンドドロップする。

PassthroughをONにする

HierarchyからCameraRigを選択し、InspectorからOVR Managerのスクリプトの設定をスクロールする。
Quest Featureの部分にPassThrough　Supportがあるので、Supportedに変更する

Skyboxを削除する

Window→Rendering→Lightingを選択する

Environmentタブを選択し、Skybox MaterialをNoneに変更する

Viewポートから空と地面が消えるのでその状態でもう一度ビルドする

部屋の中にブロックが浮かんでいるはずです。
以上です。

参考記事

本当に参考になりました、ありがとうございます。