特殊なケースですが、透過情報を持ったSampleBufferをAVSampleBufferDisplayLayerにenqueueしても、背景が透過されないことがあります。
これはAVSampleBufferDisplayLayerが透過できない訳ではなく、enqueueしたCMSampleBufferに透過情報があるかどうかのフラグが有効になっていないため起こる問題です。
次のようにSampleBufferに含まれるimageBufferに対してkCVImageBufferAlphaChannelIsOpaqueフラグを落とせば透過が有効になります。
imageBuffer.attachments.merge([kCVImageBufferAlphaChannelIsOpaque as String : false], mode: .shouldPropagate)