実際にユーザー環境でのパフォーマンスを確認するためにFirebase Performance Monitoringを導入しているアプリはそれなりにあるのではないかと思います。

でも、開発中に有効にしているとビルドが遅くなりますよね。アプリによるけど、２〜３分くらいかかることありますよね。

はずかしい話ローカルでコメントアウトして開発してたんですよね。こんな感じで

//apply plugin: 'com.google.firebase.firebase-perf'

導入したときにはなかった設定だったと思うのですが、簡単に有効・無効を切り替えることができるようです。
Firebase Performance Monitoring SDK を無効にする

Firebase Gradle Plugins version 1.2.0から追加された設定のようです。

gradle.propertiesには無効と設定しておいて

gradle.properties

firebasePerformanceInstrumentationEnabled=false

リリースするアプリをビルドする際などはコマンドライン引数で上書きすればいいみたい

 ./gradlew -PfirebasePerformanceInstrumentationEnabled=true assembleRelease