目的

OpenVINOを使ってNeural Compute Stick 2(NCS2)の速さを確認する

検証環境

パソコン：ideapad 320S
CPU: Intel Core i3-7100U CPU @ 2.40GHz
GPU: Intel HD Graphics 620
アクセラレータ：Neural Compute Stick 2(NCS2)
フルサイズUSB：USB2.0、USB3.0

OS: Microsoft Windows 10 Home

利用したソフト:openvino_2019.1.087
デモソフト名：demo_security_barrier_camera,demo_squeezenet_download_convert_run

※OpenVINOを使う理由は、Neural Compute Stick 2(NCS2)の性能がある程度引き出せるのではないかと考えたため。

検証結果

inference(推論）の部分のみ。2回実行し、各々のfpsを示している。
CPU、GPUの部分は、関連記事に提示済みの数値を引用。
一部、10回測定のデータを追加。10回測定の場合、最も速い値に*印。

--demo_security_barrier_camera
NCS2 FP16 　　16.2, 　16.8fps　//今回測定(これは、USB2.0)
NCS2 FP16(USB2.0)
　　16.4, 15.9, *16.7, 16.4, 16.3, 16.6, 16.6, 16.3, 16.5, 16.5
NCS2 FP16(USB3.0)
　　19.9, 20.0, 19.9, 21.4, 22.9, 21.2, *23.8, 20.4, 20.8, 21.0
CPU FP32 　　22.6, 　17.3fps
GPU FP16 　　16.2, 　13.9fps
GPU FP32 　　11.5, 　14.1fps

--demo_squeezenet_download_convert_run
NCS2 FP16 　　65.4, 　68.8fps　//今回測定(これは、USB2.0)
NCS2 FP16(USB2.0)
　　74.6, 72.2, 73.8, *80.4, 64.3, 72.2, 71.5, 69.3, 65.3, 68.8
NCS2 FP16(USB3.0)
　　98.9, 93.3, *109.6, 95.9, 96.0, 97.5, 97.2, 94.2, 97.1, 101.3
CPU FP32 　　34.6, 　62.0fps
GPU FP16 　　75.4, 　83.7fps
GPU FP32 　　65.5, 　59.2fps

参考情報

デモプログラムのREADME抜粋

Classification Demo Using SqueezeNet

The demo illustrates the general workflow of using the Intel(R) Deep Learning Deployment Toolkit and performs the following:

Downloads a public SqueezeNet model using the model_downloader\downloader.py script

・・

Security Barrier Camera Demo

The demo illustrates using the Inference Engine with pre-trained models to perform vehicle detection, vehicle attributes and license-plate recognition tasks.
As the sample produces visual output, it should be run in GUI mode.
・・

実行時出力抜粋

[ INFO ] Loading plugin CPU

    API version ............ 1.6
    Build .................. 22443
    Description ....... MKLDNNPlugin

[ INFO ] Loading plugin GPU

    API version ............ 1.6
    Build .................. 22443
    Description ....... clDNNPlugin
    
 [ INFO ] Loading plugin

    API version ............ 1.6
    Build .................. 22443
    Description ....... myriadPlugin

まとめ

Neural Compute Stick 2(NCS2)は、
GPU(Intel HD Graphics 620)やCPUとの比較で、それなりの速さである。
USB3.0で測定し直すと、かなり、速くなった。

今後

また、何か関連する検討ができれば。
記載が、デモプログラムの名称を示しているだけなので、これでは条件がよくわからないあたりも、改善できれば。
このdemoで測定するにしても、もう少し、測定方法に工夫があるべきとも思う（特別、この方法での数字に意味は
ないにしてもバラつきとかがデータの整理方法として気になる）。

関連

OpenVINOを使ってCPU内蔵GPUの速さを確認する

改定内容

2019/4/27 使用しているPCのUSBは、2.0と3.0があることに気づいたため、USB3.0での測定結果を追加。