問題
添付スクショのように画面端に配置したボタンから UIControl.Event.touchDownイベントを受け取ろうとすると、タッチダウンしてワンテンポ遅れてイベントがきます。
解決策
OSのジェスチャイベントが先に優先されるため、アプリへのイベントが遅れるようです。
そこで、下記のようにpreferredScreenEdgesDeferringSystemGesturesをオーバーライドして、アプリ側のイベントを優先するように指定します。
class ViewController: UIViewController {
    override var preferredScreenEdgesDeferringSystemGestures: UIRectEdge {
        // 右端のボタンダウン反応が改善できます
        [.right]
    }
}