Metalでカメラからの動画入力をリアルタイム処理する #Swift

Metalのパフォーマンスがわかりやすく活きる例としては、動画のリアルタイム処理です。動画撮影中に30fpsなり60fpsなりで渡されてくるカメラからの入力をMetalで画像処理し、Metalで描画する、ということをやります。

カメラからの入力を取得する

カメラからの入力をリアルタイムに受け取るようにする実装は、何も新しいことはないのでここでは省略します。AVFoundationのAVCaptureSessionを用いるおなじみのものです。iOS-10-Samplerにもそういう実装があるので必要に応じてご参照ください。

CVImageBuffer -> MTLTexture

ここからが本番で、Metalで処理するために、 CVImageBuffer (CVPixelBuffer) からMTLTextureを生成します。

1.`CVMetalTextureCache`を生成

まず、CVMetalTextureCacheを用意しておきます。

(Swift)

var textureCache : CVMetalTextureCache?

CVMetalTextureCacheCreate(kCFAllocatorDefault, nil, device, nil, &textureCache)

(ObjC)

CVMetalTextureCacheRef textureCache;

CVMetalTextureCacheCreate(kCFAllocatorDefault,
                          nil,
                          device,
                          nil,
                          &textureCache);

（deviceはMTLDevice）

CVMetalTextureCacheは、CVMetalTexture型のテクスチャを生成・管理するためのクラスです。以下リファレンスより引用。

A CoreVideo Metal texture cache creates and manages CVMetalTexture textures. You use a CVMetalTextureCache object to directly read from or write to GPU-based CoreVideo image buffers in rendering or GPU compute tasks that use the Metal framework.

テクスチャをつくるたびに生成しなおす必要はありません。

2. CVImageBuffer -> CVMetalTexture

ここからは、カメラからの入力（CMSampleBuffer）を得るたびに行う処理です。

CVMetalTextureCacheを用いて、 CVImageBuffer から、 CVMetalTexture を生成します。

swift

let width = CVPixelBufferGetWidth(imageBuffer)
let height = CVPixelBufferGetHeight(imageBuffer)

var imageTexture: CVMetalTexture?

let result = CVMetalTextureCacheCreateTextureFromImage(kCFAllocatorDefault, textureCache, imageBuffer, nil, pixelFormat, width, height, 0, &imageTexture)

objc

CVMetalTextureRef imageTexture;
CVReturn result = CVMetalTextureCacheCreateTextureFromImage(kCFAllocatorDefault,
                                                            textureCache,
                                                            imageBuffer,
                                                            nil,
                                                            MTLPixelFormatBGRA8Unorm,
                                                            width, height, 0,
                                                            &imageTexture);

成功すれば、戻り値は kCVReturnSuccess となります。

ちなみに、CVMetalTextureとはどういうものかというと、「Metalで利用するためのtexture-basedなイメージバッファ」とのことです。

A texture-based image buffer that supplies source image data for use with the Metal framework.

3. CVMetalTexture -> MTLTexture

イメージバッファから、MTLTexture を取り出します。

swift

let texture = CVMetalTextureGetTexture(imageTexture)

objc

id<MTLTexture> texture = CVMetalTextureGetTexture(imageTexture);
CFRelease(imageTexture);

Objective-Cの場合は明示的にCVMetalTextureを解放する必要がある点に注意。

MTLTexture -> Metalで処理

Metalのシェーダで何かしらの処理を行う話は以下の記事に、

また、Metal Performance Shadersでリサイズやブラー処理を行う話はこちらに、

MTLTextureに対して（Metalでシームレスに）Core Imageで画像処理を行う話は下記記事に書きました。

Metalの恩恵は受けつつCore Imageで「手軽に」画像処理 - Qiita

MTLTexture -> MTKViewで表示（描画)

MTLTextureをMTKViewで描画する方法については、下記記事にまとめました。

MetalでUIImageViewライクに画像を表示する - 最小実装編 - Qiita

出来上がり

（AnimatedGIFを載せる予定）

今後の展望

このへんの知見は、Metal Performance ShadersでのCNNを使う際にも活きてくる予定です。

iOS 10の新機能のサンプルコード集「iOS 10 Sampler」 - Qiita

近日中に記事を書く予定です。

Metalでカメラからの動画入力をリアルタイム処理する