Metalでカメラからの動画入力をリアルタイム処理する

Metalのパフォーマンスがわかりやすく活きる例としては、動画のリアルタイム処理です。動画撮影中に30fpsなり60fpsなりで渡されてくるカメラからの入力をMetalで画像処理し、Metalで描画する、ということをやります。

##カメラからの入力を取得する

カメラからの入力をリアルタイムに受け取るようにする実装は、何も新しいことはないのでここでは省略します。AVFoundationのAVCaptureSessionを用いるおなじみのものです。iOS-10-Samplerにもそういう実装があるので必要に応じてご参照ください。

関連：

• iOSでの動画処理における「回転」「向き」の取り扱いでもう混乱したくない - Qiita
• AV Foundationで240fpsスローモーション動画撮影を実装する - Qiita

AVCaptureVideoDataOutputSampleBufferDelegate プロトコルの captureOutput:didOutputSampleBuffer:fromConnection: メソッドで、カメラからの入力がCMSampleBuffer として渡されてきます。

func captureOutput(_ captureOutput: AVCaptureOutput!, didOutputSampleBuffer sampleBuffer: CMSampleBuffer!, from connection: AVCaptureConnection!)

ここから CMSampleBufferGetImageBuffer() を用いて、 CVImageBuffer (CVPixelBuffer)を取り出します。

let imageBuffer = CMSampleBufferGetImageBuffer(sampleBuffer)

ここまではiOSデバイスでカメラ入力に対して何かやりたいときには必ず通る、おなじみの手順かと思います。

##CVImageBuffer -> MTLTexture

ここからが本番で、Metalで処理するために、 CVImageBuffer (CVPixelBuffer) からMTLTextureを生成します。

###1.CVMetalTextureCacheを生成

まず、CVMetalTextureCacheを用意しておきます。

(Swift)

var textureCache : CVMetalTextureCache?

CVMetalTextureCacheCreate(kCFAllocatorDefault, nil, device, nil, &textureCache)

(ObjC)

CVMetalTextureCacheRef textureCache;

CVMetalTextureCacheCreate(kCFAllocatorDefault,
                          nil,
                          device,
                          nil,
                          &textureCache);

（deviceはMTLDevice）

CVMetalTextureCacheは、CVMetalTexture型のテクスチャを生成・管理するためのクラスです。以下リファレンスより引用。

A CoreVideo Metal texture cache creates and manages CVMetalTexture textures. You use a CVMetalTextureCache object to directly read from or write to GPU-based CoreVideo image buffers in rendering or GPU compute tasks that use the Metal framework.

テクスチャをつくるたびに生成しなおす必要はありません。

###2. CVImageBuffer -> CVMetalTexture

ここからは、カメラからの入力（CMSampleBuffer）を得るたびに行う処理です。

CVMetalTextureCacheを用いて、 CVImageBuffer から、 CVMetalTexture を生成します。

swift

let width = CVPixelBufferGetWidth(imageBuffer)
let height = CVPixelBufferGetHeight(imageBuffer)
    
var imageTexture: CVMetalTexture?
    
let result = CVMetalTextureCacheCreateTextureFromImage(kCFAllocatorDefault, textureCache, imageBuffer, nil, pixelFormat, width, height, 0, &imageTexture)

objc

CVMetalTextureRef imageTexture;
CVReturn result = CVMetalTextureCacheCreateTextureFromImage(kCFAllocatorDefault,
                                                            textureCache,
                                                            imageBuffer,
                                                            nil,
                                                            MTLPixelFormatBGRA8Unorm,
                                                            width, height, 0,
                                                            &imageTexture);

成功すれば、戻り値は kCVReturnSuccess となります。

ちなみに、CVMetalTextureとはどういうものかというと、「Metalで利用するためのtexture-basedなイメージバッファ」とのことです。

A texture-based image buffer that supplies source image data for use with the Metal framework.

###3. CVMetalTexture -> MTLTexture

イメージバッファから、MTLTexture を取り出します。

swift

let texture = CVMetalTextureGetTexture(imageTexture)

objc

id<MTLTexture> texture = CVMetalTextureGetTexture(imageTexture);
CFRelease(imageTexture);

Objective-Cの場合は明示的にCVMetalTextureを解放する必要がある点に注意。

##MTLTexture -> Metalで処理

Metalのシェーダで何かしらの処理を行う話は以下の記事に、

• Metalシェーダことはじめ - WebGL/GLSLの豊富なサンプルを参考にする - Qiita
• MetalシェーダでSceneKitのマテリアルを描画する - Qiita

また、Metal Performance Shadersでリサイズやブラー処理を行う話はこちらに、

• Metalで画像をリサイズする - Qiita
• Metal逆引きレシピ - Qiita

MTLTextureに対して**（Metalでシームレスに）Core Imageで画像処理**を行う話は下記記事に書きました。

• Metalの恩恵は受けつつCore Imageで「手軽に」画像処理 - Qiita

##MTLTexture -> MTKViewで表示（描画)

MTLTextureをMTKViewで描画する方法については、下記記事にまとめました。

• MetalでUIImageViewライクに画像を表示する - 最小実装編 - Qiita

##出来上がり

（AnimatedGIFを載せる予定）

##今後の展望

このへんの知見は、Metal Performance ShadersでのCNNを使う際にも活きてくる予定です。

• iOS 10の新機能のサンプルコード集「iOS 10 Sampler」 - Qiita

近日中に記事を書く予定です。