9
3

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 1 year has passed since last update.

深層学習の推論フレームワークのメモ

Last updated at Posted at 2022-08-14
  • Onnxruntime

使用しやすい。有効なONNXモデルをほとんど全部実行できる。ONNXはほとんど全部深層学習のフレームワークをサポートしている。Githubで事前コンパイルしたライブラリもある。でも、INT8量子化モデルの実行速さが遅い。

  • TensorRT

 NVIDIAのGPUで一番速い。でも、NVIDIAのGPUに限り使用できる。ONNXなどモデルからTensorRTのエンジに変換する必要がある。変換の時、新しい演算子をサポートしない可能性がある。

  • openvino

INTELのチップセットでよく速い。INT8のモデルも速い。変換することもある。UBUNTUで使用する時、UBUNTUのバージョンの要求がある。

  • Tengine

例のコードがたくさんある。CとC++だけのAPIがある。

  • libtorch

 Pytorchの演算子がほとんどサポートしている。訓練のフレームワークはPytorchに限りだ。

などなど

9
3
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
9
3

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?