Dockerfile 中でtorch2trtを実行する方法

想定する読者

• NVIDIAのGPUの利用者
• pytorchの利用者
• dockerの利用者

こまっていたこと

• jetsonでの高速化のためにはpytotchのモデルファイルをtensorRTのモデルファイルに変換する必要がある。
• これをdocker run の実行後に行うのは、とてもリソースの無駄遣いになっている。

実施したいこと

1 torch2trt をDockerfile の中でインストールする.
2 torch2trt を使っているモデルの変換用のスクリプトもDockerfile の中で実行させる。

解決策

Can't install inside a docker container
に解決方法が書いてあった。
以下のファイルに追記を行う。

$ sudo vim /etc/docker/daemon.json

/etc/docker/daemon.json

{
 "default-runtime": "nvidia",
... 
}

$ sudo systemctl restart docker 

この変更を行うとtorch2trtのインストール、それを用いたモデルのtrtへの変換の両方がDockerfile に記述できるようになった。