AnimeGAN2-pytorchの推論で比較してみました
ONNXとOpenVINOはColabで、CoreMLはM1MacBookAirです。NVidiaのGPUしかなかったので、OpenVINOのGPU推論は試せてません。
Colab CPU:Intel(R) Xeon(R) CPU @ 2.20GHz
| runtime | time(s) |
|---|---|
| Pytorch-CPU | 5 |
| Pytorch-GPU | 0.006 |
| onnx-CPU | 4.9 |
| onnx-GPU | 2.4 |
| onnx量子化(int8)-CPU | 4.9 |
| onnx量子化(int8)-GPU推論 | 2.4 |
| onnx simplifier-CPU推論 | 4.9 |
| onnx simplifier-GPU推論 | 2.4 |
| onnx simplifier 量子化(int8)-CPU | 4.9 |
| onnx simplifier 量子化(int8)-GPU | 2.4 |
| openvino-CPU | 4 |
| openvino 量子化(int8)-CPU | 4 |
| CoreML | 0.14 |
🐣
フリーランスエンジニアです。
お仕事のご相談こちらまで
rockyshikoku@gmail.com
Core MLやARKitを使ったアプリを作っています。
機械学習／AR関連の情報を発信しています。