AVAssetExportSessionにおけるカスタムトランジションを用いた動画合成 #Swift

AVAssetExportSessionで動画の合成を行いたい場合、はじめにAVMutableVideoCompositionLayerInstructionが利用できるかを検討することでしょう。
このiOSが提供するAPIでは、以下を行うことができます。

透過率を指定した合成
CGAffineTransformによる変形
矩形領域を指定した切り抜き

これらのパラメータを時間により変化させることで、クロスフェードやスワイプのようなトランジションを表現することができます。

ただ、これだけではiMovieやFCPにあるような高度なトランジションを作ることは難しいでしょう。

カスタムトランジションを作るには？

幸いにもAVFoundationは、カスタムトランジションを実装できるよう設計されています。動画のエンコード・デコードはシステムに任せ、トランジションの実装に集中することができます。

AVVideoCompositingに準拠したクラスに、動画フレームの合成手順を実装する
AVVideoCompositionInstructionProtocolに準拠したクラスに、合成する動画のパラメータを実装する
実装したクラスをAVAssetExportSessionに渡し、レンダリングする

拙作のアプリふぉとむぐでは、この記事で紹介する方法を利用し、カスタムトランジションを用いた動画合成を実現しています。

動画フレームの合成の仕方

詳細は後述しますが、各動画フレームはCVPixelBufferで得られます。ここでは導入が比較的容易なCore Imageを利用する例を示します。

`AVVideoCompositionInstructionProtocol`の実装クラス

AVVideoCompositionInstructionProtocolでのパラメータ指定方法は、以下の2パターンが存在します。

パススルー: 1つの動画を無加工でそのまま出力
複数ソースの合成: 複数の動画を加工・合成したものを出力

「パススルー」方式は、トランジションをかけない区間の動画に対して適用することでレンダリングの高速化が期待できますが、変形やクロッピングも行うことができません。うまく動画出力がされないことも多いため、期待した結果を得られない場合はこの後説明する「複数ソースの合成」の方法を試してみるのも良いでしょう。

AVMutableVideoCompositionLayerInstructionのように、各入力動画にかける変形やクロッピングを指定するモデルを定義します。

CoreImageVideoCompositionLayer.swift

struct CoreImageVideoCompositionLayer {
    let trackID: CMPersistentTrackID
    var transform: CGAffineTransform?
    var cropRect: CGRect?

    init(
        trackID: CMPersistentTrackID,
        transform: CGAffineTransform? = nil,
        cropRect: CGRect? = nil
    ) {
        self.trackID = trackID
        self.transform = transform
        self.cropRect = cropRect
    }
}

トランジション以外の、入力動画をシンプルに出力するインストラクションを実装します。

CoreImageVideoCompositionInstruction.swift

class CoreImageVideoCompositionInstruction: NSObject, AVVideoCompositionInstructionProtocol {
    let passthroughTrackID: CMPersistentTrackID = kCMPersistentTrackID_Invalid    // 上記理由により使用しない
    var requiredSourceTrackIDs: [NSValue]? {
        return [self.sourceLayer.trackID] as [NSValue]
    }
    let containsTweening: Bool = true    // transform, croppingをかけるためtrueを指定
    let timeRange: CMTimeRange
    let enablePostProcessing: Bool = false

    /// レンダリング元の動画レイヤ。
    let sourceLayer: CoreImageVideoCompositionLayer

    init(sourceLayer: CoreImageVideoCompositionLayer, for timeRange: CMTimeRange) {
        self.sourceLayer = sourceLayer
        self.timeRange = timeRange
    }
}

トランジションをかける区間のインストラクションを実装します。

CoreImageTransitionVideoCompositionInstruction.swift

class CoreImageTransitionVideoCompositionInstruction: NSObject, AVVideoCompositionInstructionProtocol {
    let passthroughTrackID: CMPersistentTrackID = kCMPersistentTrackID_Invalid
    var requiredSourceTrackIDs: [NSValue]? {
        return [self.sourceLayer.trackID, self.destinationLayer.trackID] as [NSValue]
    }
    let containsTweening: Bool = true
    let timeRange: CMTimeRange
    let enablePostProcessing: Bool = false

    /// 遷移元の動画レイヤ。
    let sourceLayer: CoreImageVideoCompositionLayer
    /// 遷移先の動画レイヤ。
    let destinationLayer: CoreImageVideoCompositionLayer
    /// トランジションフィルタ。
    let transitionFilter: CoreImageTransitionFilter

    init(
        sourceLayer: CoreImageVideoCompositionLayer,
        destinationLayer: CoreImageVideoCompositionLayer,
        transitionFilter: CoreImageTransitionFilter,
        for timeRange: CMTimeRange
    ) {
        self.sourceLayer = sourceLayer
        self.destinationLayer = destinationLayer
        self.transitionFilter = transitionFilter
        self.timeRange = timeRange
    }
}

上記に登場するCoreImageTransitionFilterは以下のようなプロトコルとして定義し、これに準拠することで様々なトランジションを実装することができます。

CoreImageTransitionFilter.swift

protocol CoreImageTransitionFilter: class {
    /// トランジションフィルタを適用したCIImageを求める。
    ///
    /// - Parameters:
    ///   - sourceImage: 遷移元の画像
    ///   - destinationImage: 遷移先の画像
    ///   - progress: 進行度(0〜1)
    ///   - request: ビデオコンポジションリクエスト
    /// - Returns: フィルタ適用後の画像を返す
    /// - Throws: パラメータ不備など、フィルタ適用できない場合にエラーを投げる
    func transitionImage(
        sourceImage: CIImage,
        destinationImage: CIImage,
        progress: CGFloat,
        request: AVAsynchronousVideoCompositionRequest
    ) throws -> CIImage
}

/// クロスディゾルブ。
class CrossDissolveTransitionFilter: CoreImageTransitionFilter {
    func transitionImage(sourceImage: CIImage, destinationImage: CIImage, progress: CGFloat, request: AVAsynchronousVideoCompositionRequest) throws -> CIImage {
        let filter = CIFilter(
            name: "CIDissolveTransition",
            withInputParameters: [
                kCIInputImageKey: sourceImage,
                kCIInputTargetImageKey: destinationImage,
                kCIInputTimeKey: progress
            ]
        )!

        return filter.outputImage!
    }
}

`AVVideoCompositing`の実装クラス

AVVideoCompositingの実装クラスには、動画レンダリングの際にシステムが要求する様々なロジックを実装していきます。この部分に関しては、Apple公式サンプル AVCustomEdit を参考に実装していくといいでしょう。