Raspberry Pi OS 11 (Bullseye) では Menu > Preferences > Raspberry Pi Configuration > Display > Headless Resolution からモニターを接続していない時の解像度を選択できますが例えば 1024x780 を選ぶとこんな感じになってしまいます。

これは /boot/config.txt を以下の以下の dtoverlay から始まる行に ,nocomposite を追加し Raspberry Pi を再起動することで Headless Resolution の設定が有効になります。

変更前

# Enable DRM VC4 V3D driver
dtoverlay=vc4-kms-v3d

変更後

# Enable DRM VC4 V3D driver
dtoverlay=vc4-kms-v3d,nocomposite

参照:

Bullseye vncserver is very slow without display
Raspberry Pi OS 11 Is Now Available: Here’s What’s New: KMS Video Driver as Standard