はじめに

クロックアップは処理速度向上に直接つながるので、リアルタイムエンコーディングしてストリーミングとか実時間より速く処理しないといけないようなシーンでは有効かとおもわれます。
Raspberry Pi 4Bに限らずできるみたいで、もちろんアンダークロックもできます。

あなたのラズパイが傷物にならないために知っておくこと

raspi-configで設定できる範囲であれば保証範囲内です。
/boot/config.txtで直接パラメータをいじる場合は、保証対象外になる場合がある(SoCにフラグが立てられる)ので注意
force_turbo=1にして電圧をすこしでも上げるとダメみたい。

あと、公式サイトにオーバークロックはあなたのラズパイの寿命を縮めるかもしれないので気をつけて(Be aware that overclocking may reduce the lifetime of your Raspberry Pi.)って書いてありますので、念のため。

まだ自分では試してないので、取り急ぎ公式のリンクを紹介します。

よくばりすぎてクロック上げすぎたりすると起動しなくなりますが、shiftキーを押しながら起動すればその設定は無視され、通常状態で起動します。
あるいは、パソコンにmicroSD刺して、config.txtをエディタで直接編集するのでも良いです。