OpenVINOを使ってNeural Compute Stick 2(NCS2)の速さを確認する

目的

OpenVINOを使ってNeural Compute Stick 2(NCS2)の速さを確認する

検証環境

パソコン：ideapad 320S
CPU: Intel Core i3-7100U CPU @ 2.40GHz
GPU: Intel HD Graphics 620
アクセラレータ：Neural Compute Stick 2(NCS2)
フルサイズUSB：USB2.0、USB3.0

OS: Microsoft Windows 10 Home

利用したソフト:openvino_2019.1.087
デモソフト名：demo_security_barrier_camera,demo_squeezenet_download_convert_run

※OpenVINOを使う理由は、Neural Compute Stick 2(NCS2)の性能がある程度引き出せるのではないかと考えたため。

検証結果

inference(推論）の部分のみ。2回実行し、各々のfpsを示している。
CPU、GPUの部分は、関連記事に提示済みの数値を引用。
一部、10回測定のデータを追加。10回測定の場合、最も速い値に*印。

--demo_security_barrier_camera
NCS2 FP16 　　16.2, 　16.8fps　//今回測定(これは、USB2.0)
NCS2 FP16(USB2.0)
　　16.4, 15.9, *16.7, 16.4, 16.3, 16.6, 16.6, 16.3, 16.5, 16.5
NCS2 FP16(USB3.0)
　　19.9, 20.0, 19.9, 21.4, 22.9, 21.2, *23.8, 20.4, 20.8, 21.0
CPU FP32 　　22.6, 　17.3fps
GPU FP16 　　16.2, 　13.9fps
GPU FP32 　　11.5, 　14.1fps

--demo_squeezenet_download_convert_run
NCS2 FP16 　　65.4, 　68.8fps　//今回測定(これは、USB2.0)
NCS2 FP16(USB2.0)
　　74.6, 72.2, 73.8, *80.4, 64.3, 72.2, 71.5, 69.3, 65.3, 68.8
NCS2 FP16(USB3.0)
　　98.9, 93.3, *109.6, 95.9, 96.0, 97.5, 97.2, 94.2, 97.1, 101.3
CPU FP32 　　34.6, 　62.0fps
GPU FP16 　　75.4, 　83.7fps
GPU FP32 　　65.5, 　59.2fps

参考情報

デモプログラムのREADME抜粋

---

Classification Demo Using SqueezeNet

The demo illustrates the general workflow of using the Intel(R) Deep Learning Deployment Toolkit and performs the following:

• Downloads a public SqueezeNet model using the model_downloader\downloader.py script

・・

Security Barrier Camera Demo

The demo illustrates using the Inference Engine with pre-trained models to perform vehicle detection, vehicle attributes and license-plate recognition tasks.
As the sample produces visual output, it should be run in GUI mode.
・・

実行時出力抜粋

---

[ INFO ] Loading plugin CPU

    API version ............ 1.6
    Build .................. 22443
    Description ....... MKLDNNPlugin

[ INFO ] Loading plugin GPU

    API version ............ 1.6
    Build .................. 22443
    Description ....... clDNNPlugin
    
 [ INFO ] Loading plugin

    API version ............ 1.6
    Build .................. 22443
    Description ....... myriadPlugin

まとめ

Neural Compute Stick 2(NCS2)は、
GPU(Intel HD Graphics 620)やCPUとの比較で、それなりの速さである。
USB3.0で測定し直すと、かなり、速くなった。

今後

また、何か関連する検討ができれば。
記載が、デモプログラムの名称を示しているだけなので、これでは条件がよくわからないあたりも、改善できれば。
このdemoで測定するにしても、もう少し、測定方法に工夫があるべきとも思う（特別、この方法での数字に意味は
ないにしてもバラつきとかがデータの整理方法として気になる）。

関連

OpenVINOを使ってCPU内蔵GPUの速さを確認する

改定内容

2019/4/27 使用しているPCのUSBは、2.0と3.0があることに気づいたため、USB3.0での測定結果を追加。