Nvidiaから出ているJetPack(NVIDIA SDK Manager)を使ってOpenCvやCudaの簡単なインストールを目指す

NividiaのGPUの乗ったマシンを用意する

NividiaのGPUは搭載したPCを用意する必要があります

$ apt-cache search "^nvidia-[0-9]{3}$"

apt-cacheでそのPCにインストールできるNvidiaドライバがわかる。

NVIDIA SDK ManagerはCuda10.0がインストールされる。NVIDIAドライバは410以上がインストールされる。
NVIDIAドライバ410以上に対応したWindows機を利用するかJatsonを利用する。
NVIDIAドライバが未対応ならNVIDIA SDK Managerをあきらめ、Cudaのバージョンを下げ手動インストールにする

https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html
古いPCのGpuのドライバは410以下のため、Cuda10.0は動作しない

仮想環境ソフトを利用する

Parallels DesktopやVMWareなど
ここではparallels-desktopを使います
追記　仮想環境だとGeforceドライバが認識しない
MacならディアルブートでLinuxを起動させるか、Windowsを利用するか
外部のJetsonNanoに転送してインストールするか
(#1)

ubuntuをインストールする

日本語版Ubuntu配布サイト

カーソルはCtrk+altで開放します
~~Parallels Tool CDがマウントされるので一緒にインストールするとよいです。~~

# 更新する
sudo apt-get update
sudo apt-get upgrade

NVIDIAグラフィックドライバーとCudaのバージョンの関係

NVIDIA SDK ManagerのCudaのバージョンは10.0である。古いPCのGpuと古いNividaドライバーだと動作しない。NVIDIA SDK Managerの自動インストールをあきらめて、Cudaのバージョンを下げて手動インストールに切り替えるか、新しいPCを新調するかになる

GPUがNvidiaかどうか確認する

sudo lshw -C display 

仮想環境上だとVirtual Video Adapterとでる
仮想環境ではNivideドライバーはインストールできないので、ホストPC(Linux or Windows)上でNivideドライバをインストールする必要がある

UbuntuがGPUを認識しているか調べる

$ sudo ubuntu-drivers devices

Nvidiaドライバインストール　方法１

参考

UbuntuがGPUを認識しているか調べる

$ sudo ubuntu-drivers devices

GPUの型番が正しく表示されたら，以下のコマンドを実行してドライバのインストールする

$ sudo ubuntu-drivers autoinstall

# マシンにインストール済みのNVIDIAドライバを一覧表示
$ dpkg -l | grep nvidia

# apt-getでインストールできるNVIDIAドライバの一覧表示
$ apt-cache search "^nvidia-[0-9]{3}$"

nvidia-smiコマンドでドライバのバージョンやGPUの詳細が表示されるか確認する

$ nvidia-smi

正しく表示されたたらCudaのインストールへ進む

nvidia-smiを実行したらエラーが出た

$ nvidia-smi　
NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver. Make sure that the latest NVIDIA driver is installed and running.
nvidia-smiはnvidiaのドライバを確認することができなかった．最新のドライバが入ってるかどうか確認してね．

この場合，Nouveauを無効化することで解決する．まず，/etc/modprobe.d/blacklist-nouveau.confを作成し，以下のように編集する．

$ sudo vim /etc/modprobe.d/blacklist-nouveau.conf

以下の内容を記入

blacklist nouveau
options nouveau modeset=0

次に以下のコマンドを実行し，カーネルモジュールを再読込する．

$ sudo update-initramfs -u

$ sudo reboot

$ nvidia-smi

参考

PCを再起動し，nvidia-smiが実行できればCUDAのインストールに進む

Nvidiaドライバインストール　方法２

Nvidia Driverをダウンロードする

搭載されているGPUのドライバを選択しRun形式のファイルをダウンロードしインストールする

$ chmod +x GPUドライバ名.run
$ sudo sh GPUドライバ名.run

nvidia-smiコマンドでドライバのバージョンやGPUの詳細が表示されるか確認する

$ nvidia-smi

再インスール時の注意

NVIDIA SDK Managerを先にインストールすると最新のNVIDIAグラフィックドライバーをインストールされてしまい、その後マシンにあった古いグラフィックドライバーを入れようとすると、エラーが起きインストールできないことがありました。依存解決のコマンドaptitudeを使って再インストールを試しましたが、デスクトップ画面で硬直して動かなくなった。

マシンがハングアップしたので注意
sudo aptitude install libnvidia-encode-418
参考

素直にアンインストールして再インストールしたほうがいいかもしれない

sudo apt-get --purge remove nvidia-*
sudo apt-get --purge remove cuda-*

CudaとOpenCvのインストール

NVIDIA SDK Managerをインストールする
ネットに繋がっていないとインストールできません

ダウンロードしJetPackアーカイブを解凍しインストールします。
Nvidiaアカウントを作成する必要があります

HostMachienを選択します。
JetPack4.3を選択します。

参考記事

下の方にあるダウンロードの後にインスールするを必ずチェックします
ダウンロード中にインストールするとエラーになることがあるので必ずチェックを入れます
30Gぐらい容量が必要です

インストール完了

自動でOpenCvとCudaがインストールできました。

JetPack 4.3 in jetson components:

L4T R32.3.1 (K4.9)
Ubuntu 18.04 LTS aarch64
CUDA 10.0
cuDNN 7.6.3
TensorRT 6.0.1
VisionWorks 1.6
OpenCV 4.1 (4.1.1)
Nsight Systems 2019.6
Nsight Graphics 2019.5
Nsight Compute 2019.3
SDK Manager 1.0.0

cudaの場所

/usr/local/cuda
/usr/local/cuda-10.0

opencvの確認方法

$ sudo apt-get install python3-pip

$ sudo pip3 install numpy

$ python3
>>> import cv2
>>> print(cv2)
>>> cv2.__version__
4.1.1

公式cudaのインストール方法

公式cudaの説明

パスの設定を追加する

$ sudo apt install vim

# 　vimをアップデートする
sudo apt install vim

# xとyにバージョン数字を入れる
$ sudo vim ~/.bashrc

## CUDA and cuDNN paths
export PATH=/usr/local/cuda-x.y/bin:${PATH}
export LD_LIBRARY_PATH=/usr/local/cuda-x.y/lib64:${LD_LIBRARY_PATH}
# 環境変数$LD_LIBRARY_PATHにNVIDIAドライバのパスを追加
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib/nvidia-番号

# 保存する
$ source ~/.bashrc

# 確認する
$ nvcc -V

# CUDA Toolkitの場所の確認
$ which nvcc

# /usr/local/cuda-10.0/bin/nvcc

参考
 参考

cuDNN のRunTimeのインストールと動作確認

cudnn-archive

cuDNN Runtime Library for Ubuntuh 　
cuDNN Developer Library for Ubuntuh
cuDNN Code Samples and User Guide for Ubuntu
をダウンロードしダブルクリックでインストール

参考

cuDNNの動作確認

cuda-10.0/binにパスが通っているかどうかの確認します
通っていれば、cuda-install-samples-10.0.shを実行できます
ホームディレクトリで実行します。引数にフォルダ名を記入します。cuda-install-samples-10.0.shを実行するとホームディレクトリにサンプルフォルダが生成されます。Makeファイルがあるのでmakeします
binフォルダにサンプルファイルが生成されるので実行し試します。
deviceQueryを実行しcuda deviceが有効か確認します

$ cd /usr/local/cuda-10.0/bin

# /usr/local/cuda-10.0/bin/cuda-install-samples-10.0.sh

# ホームディレクトリにサンプルコードのあるディレクトリをコピー
$ cuda-install-samples-10.0.sh フォルダ名

$ cd フォルダ名/NVIDIA_CUDA-10.0_Samples
$ make
$ cd NVIDIA_CUDA-10.0_Samples/bin/x86_64/linux/release

$ ./deviceQuery
 
$ ./bandwidthTest

$ ./volumeRender

参考

cuDNNのインストール確認

dpkg -lコマンドでインストール済みのパッケージを一覧表示する．

# マシンにインストール済みのcuDNNパッケージを一覧表示
$ dpkg -l | grep cudnn

cuDNNの保存場所

# debパッケージが保存されているディレクトリを確認(-Lオプション)
$ dpkg -L libcudnn7

Yoloをインストールする

$ sudo apt install git
$ git clone https://github.com/AlexeyAB/darknet.git
$ cd darknet
darknet$ vim Makefile
GPU=1
CUDNN=1
OPENCV=1

darknet$ make

-lcudaが見つからない　エラーが出る

libcuda.soがどこにあるか検索する

# libcuda.soがどこにあるか検索する
$ locate libcuda.so

# libcuda.soの場所がヒットする
/usr/local/cuda-10.0/targets/x86_64-linux/lib/stubs/libcuda.so
/usr/loca/cuda-10.0/targets/aarch64-linux/lib/stubs/libcuda.so

libcuda.soファイルを見つけたら、x86_64-linux-gnuフォルダに作る。x86_64-linuxフォルダにlibcuda.so.1のシンボリックリンクを作るとよい記事を見つける

sudo ln -s /usr/local/cuda-10.0/targets/x86_64-linux/lib/stubs/libcuda.so /usr/lib/x86_64-linux-gnu/libcuda.so.1

# libcuda.so.1とlibcuda.so　両方のシンボリックリンクが必要
sudo ln -s /usr/local/cuda-10.0/targets/x86_64-linux/lib/stubs/libcuda.so /usr/lib/x86_64-linux-gnu/libcuda.so

参考

# 再びmake
$ make clean
$ make

cudnn.hファイルがないとでる。cudnn.hファイルをコピーする

cudnn インストール公式

cudnn-archive

cuDNN Library for Linuxをダウンロードします

# cuDNNパッケージを解凍する。Finderからでも解凍可能

$ tar -xzvf cudnn-x.x-linux-x64-v8.x.x.x.tgz

$ sudo cp cuda/include/cudnn*.h /usr/local/cuda/include
$ sudo cp cuda/lib/libcudnn* /usr/local/cuda/lib64
$ sudo chmod a+r /usr/local/cuda/include/cudnn*.h /usr/local/cuda/lib64/libcudnn*

make時のcudnn.h not foundがエラーが出なくなる

cudnn関連

libcudnn.so.7.0.1以外のlibcudnn.soファイルを削除する
/usr/local/cuda/lib64 $ sudo rm -rf libcudnn.so libcudnn.so.7
再生する
sudo ln -s libcudnn.so.7.0.1 libcudnn.so.7
sudo ln -s libcudnn.so.7 libcudnn.so

make clean 
make

darknet/objが書き込めない

darknet/obj　権限を変更する

$ sudo chmod 777 ホームパス/darknet/obj ホームパス/darknet/backup

再びmake

$ make clean
$ make

weightsをダウンロード

AlexeyAB版には含まれていないのでpjreddieからダウンロード

$ wget https://pjreddie.com/media/files/yolov3.weights

Yoloを実行してみる

./darknet detect cfg/yolov3.cfg yolov3.weights data/dog.jpg

Yolo実行時のエラー

Not compiled with OpenCV, saving to predictions.png instead

DarkNetのMakefileのopenCvが1になっていない

$ vim Makefile
  OPENCV=1

CUDA driver version is insufficient for CUDA runtime version

CUDA driver version is insufficient for CUDA runtime version : No Such File or Directory

保留
参考
NVIDIAグラフィックドライバがインストールされていないと出る？調査中

cudaを更新もする
sudo apt-get install cuda

No CUDA-capable device is detected

CUDA対応デバイスが検出されない
仮想環境上ではNvidiaのGPUを認識しないため。仮想環境を止めてホストPCにOSを入れ直してやる

CUDAとNVIDIAドライバ（/usr/lib/nvidia-***）のPATHチェック

出力に"/usr/local/cuda-10.0/lib64"と"/usr/lib/nvidia-番号"が含まれているか？

$ echo $LD_LIBRARY_PATH

CUDAとnvccコマンドのPATHチェック

出力が"/usr/local/cuda-10.0/bin/nvcc"になっているか？

$ which nvcc             
/usr/local/cuda-10.0/bin/nvcc

nvidia-smiコマンドのPATHチェック

出力が"/usr/bin/nvidia-smi"になっているか？

 $ which nvidia-smi
/usr/bin/nvidia-smi

アンインストール方法

# xにバージョンを入れる
sudo apt remove cuda-x-y
sudo apt autoremove
sudo apt remove libcudnnx libcudnnx-dev libcudnnx-doc
rm -rfv ~/NVIDIA_CUDA-x.y_Samples/ # サンプルコードを消す。
# ~/.bashrcに追加されたPATHの設定をテキストエディタなどで消す。
# ログアウトしてPATHの設定の変更を反映

ポイント

Nvidia GPUを搭載したマシンを用意する
仮想環境にNvidiaのグラフィックドライバーはインストールはできない
Nividia Sdk ManegerのCudaは10.0なので古いNividiaドライバでは動かない。Cuda10.0を動作できるNvidiaDriverを利用する
cuDNNパッケージを解凍し、指定したファイル(cudnn*.h)などを指定したところへコピーする
locate libcuda.soでlibcuda.soの場所を把握する。シンボリックリンクを/usr/lib/x86_64-linux-gnuに貼る
vimで.bashrcを編集した後、source ~/.bashrcで保存しないと適用されない

結論

Jetson nanoを使う時はNividia Sdk Manegerを使ったほうがよい。cuda10とNividiaドライバが対応している
PCにインストールする場合はGPUを調べ、NvidiaDriverが410以上に対応しているならNividia　SDKを試しに使ってみる 410未満未対応ならSDKを諦め手動インストールでやる

参考サイト

閃き- blog
かなり詳しく書いてあります

Coda linux 公式インストール情報

NVIDIA SDK Manager on Dockerで快適なJetsonライフ

Jetson TX2 への JetPack のセットアップ手順

(#1)
CUDA on WSL2
WSL2を使えばWindows上にLinuxを構築しWindowsのGPUドライバを利用できるようです。