明らかにこれは違うやろってAPIだけ許可してわざと失敗させればエラーメッセージに入ってくるのですぐ分かるんですけどね。
firebase使った認証設定で、認証しか使わないのに他のAPIも使える状態ってまあ気持ちが良くないのでAPI制限かけたいってときに、API一覧見ると「firebase auth」みたいなそのものズバリなAPIは一覧にありません。
Identity Toolkit API こいつが犯人です。
↑だけだとgetIDtoken使ってトークンのリフレッシュが出来ないことが判明。
Token Service APIこいつも要りますね。
以上！