前提

方法

大体こちらの通り

公式ドキュメントだとここらへんが該当しそうなのですが、SAMLで登録する事になっており、SAMLの登録内容が良くわかりません。

FirebaseのAuthenticationの承認済ドメインに、カスタムドメインを追加します。
カスタムドメインの設定済であれば、既にされているはずなので省略。

メールアドレス/パスワードでのログインを許可している場合、firebaseから各種メールが送信されます。

メール内に、認証のリンクが含まれているため、URLを変更しておきます。

hoge.firebaseapp.com -> カスタムドメイン

GCPの

APIとサービス > 認証情報（credentials）を開きます。

自動で作られてるのがいくつかありますが、OAuth2の方を編集します。

承認済のJavascript生成元 にカスタムドメインを追加します。

もう1箇所、承認済のリダイレクトURIにもカスタムドメインのものを追加します。既存の物をコピって、ドメインだけ変えれば良いと思います。

authDomainを、カスタムドメインに変更します。

以上でいけるはず、、、、