目的

OpenVINOを使ってCPU内蔵GPUの速さを確認する

検証環境

CPU: Intel Core i3-7100U CPU @ 2.40GHz
GPU: Intel HD Graphics 620

OS: Microsoft Windows 10 Home

利用したソフト:openvino_2019.1.087
デモソフト名：demo_security_barrier_camera,demo_squeezenet_download_convert_run

※OpenVINOを使う理由は、Intelの内蔵GPUの性能がある程度引き出せるのではないかと考えたため。

検証結果

inference(推論）の部分のみ。2回実行し、各々のfpsを示している。

--demo_security_barrier_camera
CPU FP32 　　22.6, 　17.3fps
GPU FP16 　　16.2, 　13.9fps
GPU FP32 　　11.5, 　14.1fps

--demo_squeezenet_download_convert_run
CPU FP32 　　34.6, 　62.0fps
GPU FP16 　　75.4, 　83.7fps
GPU FP32 　　65.5, 　59.2fps

参考情報

デモプログラムのREADME抜粋

Classification Demo Using SqueezeNet

The demo illustrates the general workflow of using the Intel(R) Deep Learning Deployment Toolkit and performs the following:

Downloads a public SqueezeNet model using the model_downloader\downloader.py script

・・

Security Barrier Camera Demo

The demo illustrates using the Inference Engine with pre-trained models to perform vehicle detection, vehicle attributes and license-plate recognition tasks.
As the sample produces visual output, it should be run in GUI mode.
・・

実行時出力抜粋

[ INFO ] Loading plugin CPU

    API version ............ 1.6
    Build .................. 22443
    Description ....... MKLDNNPlugin

[ INFO ] Loading plugin GPU

    API version ............ 1.6
    Build .................. 22443
    Description ....... clDNNPlugin

まとめ

GPU(Intel HD Graphics 620)は、CPUとの比較で、それなりに速いと思える。
10倍とか速い数字が出るとわかりやすいのであるが、それほどの値にはならなかった。
CPUが速い場合もあった。（MKLDNNPluginが速いためのような気もする。）
また、
GPUのFP32とFP16では、FP16のほうが速いという結果であるが、大きい差ではなかった。

今後

また、何か関連する検討ができれば。
記載が、デモプログラムの名称を示しているだけなので、これでは条件がよくわからないあたりも、改善できれば。

関連

OpenVINOを使ってNeural Compute Stick 2(NCS2)の速さを確認する