TensorRTをubuntuにインストールするぞ

ubuntuにTensorRTを入れていきます

今回の環境

• Ubuntu 18.04
• RTX2080
• CUDA10.0

いれるもの

• TensorRT6.0 GA

TensorRTってなんぞ

TensorRTは、

• ディープラーニングを使った推論高速化ライブラリ。
• NVIDIAが提供しており、CUDAベースで動く
• Tensorflowとは仲良しで相性がいい
• 機械学習ライブラリ共通のオープンモデルフォーマットONNXのパーサも備えている
• なのでpytorch, caffe, chainerのモデルも高速化可能

インストール手順

1. ダウンロード

• 公式サイトからダウンロード
  1. Download Nowから好きなバージョンのTensorRTを選択（今回はTensorRT 6)
  2. チェックを入れる：☑I Agree To the Terms of the NVIDIA TensorRT License Agreement
  3. TensorRT x.x GA, RC版などが表示されるが、基本GA版(General Availability)
  4. 自分のマシンに合ったファイルを選択、今回は
     TensorRT 6.0.1.5 GA for Ubuntu 1804 and CUDA 10.0 DEB local repo packages

2. インストール

sudo dpkg -i nv-tensorrt-repo-ubuntu1804-cuda10.0-trt6.0.1.5-ga-20190913_1-1_amd64.deb 
#sudo dpkg -i 今回ダウンロードしたファイル名前
sudo apt-key add /var/nv-tensorrt-repo-cuda10.0-trt6.0.1.5-ga-20190913/7fa2af80.pub
#このフォーマットで変更する：sudo apt-key add /var/nv-tensorrt-repo-cudax.x-trt6.x.x.x-ga-yyyymmdd/7fa2af80.pub
sudo apt-get update
sudo apt-get install tensorrt

#Pythonから呼び出せるようにする
#Python3の場合
sudo apt-get install python3-libnvinfer-dev
#Python2の場合
sudo apt-get install python-libnvinfer-dev

#Tensorflowと連携させたいなら
sudo apt-get install uff-converter-tf

3. インストールの確認

python
>>>import tensorrt as trt
#ここでエラーが出なければOK

#おわりに
以上がインストール手順です。
しっかり使いこなしてリアルタイムのシステム作りたいですね
TensorRTに変換できる層には限りがあり、変換できないものは自分でCUDA実装する必要もあるらしい、
それでは〜