TensorFlow LiteがGPUをサポートしたらしいのでiOSで試してみた #iOS

TensorFlow LiteがAndroidやiOSデバイスのGPUをサポートしたようです¹。

TensorFlow Lite Now Faster with Mobile GPUs (Developer Preview)

バックエンドはAndroidではOpenGL ES 3.1、iOSではMetal。

This new backend leverages:

OpenGL ES 3.1 Compute Shaders on Android devices

Metal Compute Shaders on iOS devices

iPhone 7では最大6倍の高速化が見られたようです。

By leveraging the new GPU backend in the future, inference can be sped up from ~4x on Pixel 3 and Samsung S9 to ~6x on iPhone7.

というわけで以下のチュートリアルページに従って試してみました。

TensorFlow Lite GPU Delegate Tutorial | TensorFlow Lite | TensorFlow

試すまでの最小手順

TFリポジトリには昔からiOSでリアルタイム物体認識を行うサンプルが同梱されているのですが、これをGPUで処理するように変更していきます。

チュートリアルページでは実行速度を最大化するように細かい設定も書いてますが（Releaseビルドしろとか）、動かすために必要なものだけ抜粋して書いていきます。

1. モデルをダウンロード

スクリプトを走らせてサンプルで利用するモデルをダウンロードします。

$ cd tensorflow/lite/examples/ios
$ sh ./download_models.sh

2. GPUサポート版TF Liteを使うようPodfileを変更

# pod 'TensorFlowLite', '1.12.0'
pod 'TensorFlowLiteGpuExperimental'

で、pod installします。

3. コードの修正

CameraExampleViewController.hの、TFLITE_USE_CONTRIB_LITEの値を1から0に、

// #define TFLITE_USE_CONTRIB_LITE 1
#define TFLITE_USE_CONTRIB_LITE 0

TFLITE_USE_GPU_DELEGATEの値を0から1に変更します。

// #define TFLITE_USE_GPU_DELEGATE 0
#define TFLITE_USE_GPU_DELEGATE 1

4. Build & Run!

tflite_camera_example.xcworkspaceをXcodeで開いて実機で実行します。

GPUで動いていることを確認する

よく見る物体認識デモなので、これだけだとGPUで動いている実感がないかもしれません。

XcodeのGPU Reportで見てみるとちゃんとGPUが働いていました。

ちなみにこのときCPUの負荷は60%前後。（iPhone XS / iOS 12.1.2）

他の公式配布モデル

物体認識以外にも、魅力的なモデルが既に配布されています。以下のモデルはモバイルデバイスGPUで利用可能です。

DeepLab segmentation

セグメンテーション（領域分割）用のモデル。

image segmentation model that assigns semantic labels (e.g., dog, cat, car) to every pixel in the input image

（画像はGoogle AI Blogの記事より）

https://storage.googleapis.com/download.tensorflow.org/models/tflite/gpu/deeplabv3_257_mv_gpu.tflite

PoseNet

ポーズ（姿勢）推定用のモデル。

vision model that estimates the poses of a person(s) in image or video

（画像はこちらから）

https://storage.googleapis.com/download.tensorflow.org/models/tflite/gpu/multi_person_mobilenet_v1_075_float.tflite

MobileNet SSD object detection

物体認識モデル。複数のオブジェクトをバウンディングボックスつきで検出してくれます。

image classification model that detects multiple objects with bounding boxes