- Onnxruntime
使用しやすい。有効なONNXモデルをほとんど全部実行できる。ONNXはほとんど全部深層学習のフレームワークをサポートしている。Githubで事前コンパイルしたライブラリもある。でも、INT8量子化モデルの実行速さが遅い。
- TensorRT
NVIDIAのGPUで一番速い。でも、NVIDIAのGPUに限り使用できる。ONNXなどモデルからTensorRTのエンジに変換する必要がある。変換の時、新しい演算子をサポートしない可能性がある。
- openvino
INTELのチップセットでよく速い。INT8のモデルも速い。変換することもある。UBUNTUで使用する時、UBUNTUのバージョンの要求がある。
- Tengine
例のコードがたくさんある。CとC++だけのAPIがある。
- libtorch
Pytorchの演算子がほとんどサポートしている。訓練のフレームワークはPytorchに限りだ。
などなど