Ubuntu 18.04(Corei7-7700,GTX1050)へのCUDA、TensorFlowインストール方法

自作のPCにUbuntu18.04とTensorFlowをインストールした内容を紹介します。

■PCの構成とセットアップ

構成は以下の通りです。
- MB：Asrock Fatal1ty Z270 Gaming-ITX/ac
　　グラフィック出力：HDMI,DisplayPort(２台の4Kのモニターに対応）
　　Tunderbolt 3 ( (USB Type-C)、Ultra M.2(PCIe Gen3 x 4)
- CPU：Intel Corei7-7700、メモリ：DDR4 8GBx2
- SSD：M.2 2280 512GB HDD：STA3 2TB
- VGA: GTX1050Ti 4GB(CUDA用GPU）

　BIOS更新・設定

モニターはMB（マザーボード）のグラフィック出力に接続します。
PC起動後、表示がなければGPUのVGAカードの端子にディスプレイを接続しBios設定画面で、PriorityVideoに設定します。PC再起動時にモニターをマザーボードに接続し直します。
　BIOSはASROCKのホームページから最新安定版のBIOSをダウンロードし、BIOS更新しました。

■Ubuntu18.04のインストール

Ubuntu18.04のデスクトップ版ISOファイルをダウンロードして、ImageWriterでUSBメモリに書き込みます。
　このUSBメモリを組み立てたPCに挿入して、Ubuntu18.04のインストールを始めます。
　HDDは外しておきます。PC起動後の画面で、「Try Ubuntu without installing」を選択し、SSDをインストール対象して設定します。ディスクのパーティションの設定で１２８MBのUFIパーティション、その他をext4のファイルタイプ、[/」をマウントに設定しました。
　その後、デスクトップにあるubuntuインストールコマンドを起動します。起動後は、画面指示に従いインストールします。
　インストールが完了してPCが再起動後、sudo apt update, sudo apt upgradeでOSを最新にしておきます。

■CUDA10のインストール

aptのリポジトリにcudaドライバを追加し、インストールします。

    $ sudo apt-key adv --fetch-keys http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/7fa2af80.pub
    $ wget http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/cuda-repo-ubuntu1804_10.0.130-1_amd64.deb
    $ sudo dpkg -i cuda-repo-ubuntu1804_10.0.130-1_amd64.deb

    $ sudo apt update
    $ sudo apt install cuda cuda-drivers

以下の内容を.bashrcに追加します。

    export PATH="/usr/local/cuda/bin:$PATH"
    export LD_LIBRARY_PATH="/usr/local/cuda/lib64:$LD_LIBRARY_PATH"
    $ source ~/.bashrc　#設定を反映させます。

PCを再起動します。起動が始まらない場合、リセットボタンを押します。

PCが起動後、GPUの動作を確認します。
$ nvidia-smi
Driver versionの内容が表示されれば正常にインストールされています。
Memory-Usageには使用されているメモリ量が表示されます。

■グラフィック表示をインテルGPUに切り替え

PC内部のビデオデータの流れは表示用の画像はGPUからマザーボードのグラフィック出力されているようです。そのため、表示にはintel graphics機能を使うよう/etc/X11/xorg.confを次の内容で作成します。
この内容はConfiguring iGPU for xserver and nvidia GPU for CUDA work (kubuntu 18.04, cuda-9.2)を参照しました。

    Section    "Device"
           Identifier      "intel"
           Driver          "intel"
           BusId           "PCI:0:2:0"
    EndSection
    Section "Screen"
           Identifier      "intel"
           Device          "intel"
    EndSection

次に、nvidia-settingsを起動してで次の設定をします。
　　PRIME PROFILEで、「intel」を選択します。
　　設定終了後、PCを再起動します。
５分程度、待って、起動が始まらない場合、リセットを押します。
PCが起動後、nvidiaの状態を次のコマンドで確認します。

$ nvidia-smi
　　Memory-Usageのメモリ使用が０となっています。nvidiaのドライバーが組み込まれていません。
GUIのnvidia-settingsは、今後、起動しなくなるためこのコマンドでGPUの状態を把握するようにします。

■pyenvとvirtualenvのインストール

　TensorFlowの各バージョンに対応するため、pyenvとvirtualenvを使用しています。

　pyenvのインストール

    $ git clone https://github.com/yyuu/pyenv.git ~/.pyenv
    　ダウンロード後、.bashrcへ以下の内容を追加します。       
     echo 'export PYENV_ROOT="$HOME/.pyenv"'    
     echo 'export PATH="$PYENV_ROOT/bin:$PATH"' 
     echo 'eval "$(pyenv init -)"'      

　virtualenvインストール

   
    $ sudo pip install virtualenv
    $ sudo pip install virtualenvwrapper    
        
    .bashrcに以下の内容を追加します。
    export WORKON_HOME=$HOME/.virtualenvs   
    export VIRTUALENVWRAPPER_PYTHON=/usr/bin/python3
    次のコマンドを実行します。
    $ source .bashrc    
    $ source /usr/local/bin/virtualenvwrapper.sh

　仮想環境の作成

   
    $ mkvirtualenv edward1
    $ mkvirtualenv tf_1.12GPU   

　仮想環境の切り替え

　実際の切替は以下のようにします。

　終了時
    $ deactivate
　仮想環境切り替え時
    $ workon  #仮想環境のリスト表示します。
    $ workon tf_1.12GPU #仮想環境tf_1.12GPUに切り替えます

■TensorFlowのソースインストールとコンパイル

TensorFlowのソースをダウンロード後、ソースのバージョンを指定します。

    $ git clone https://github.com/tensorflow/tensorflow.git
    $ cd tensorflow 
    # git checkout r1.12 #  git checkout branch_name ?# r1.9, r1.10, etc.　ソースのバージョンを変更

　NCCL 2.3.5のインストール

nvidiaの開発者ホームページのNCCLより、ログインしてダウンロードします。

    sudo dpkg -i nccl-repo-ubuntu1804-2.3.5-ga-cuda10.0_1-1_amd64.deb
    sudo apt update
    sudo apt install libnccl2 libnccl-dev

　追加ライブラリィのインストール

　ソースコンパイル時にライブラリ依存性があるlibcuptiをインストールします。

    $ sudo apt-get install libcupti-dev
    $ echo 'export LD_LIBRARY_PATH=/usr/local/cuda/extras/CUPTI/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
    $ source .bashrc

　Tensorflowに依存性があるpipパッケージをインストール

　pipを用いて追加インストールします。

    $ sudo apt-get install python3-dev python3-pip
    $ sudo pip3 install -U pip #pip自身の更新
    $ sudo pip3 install numpy wheel mock keras_applications keras_preprocessing
    　
    　＜補足＞
    　インストールしたラパッケージの更新をステップ確認するため次のパッケージをインストールします。
    $ sudo pip3 install pip-review #
    　pipでパッケージの更新時に、OSがインストールしたライブラリと競合して更新ができない場合、次のコマンドを実行します。
    $ sudo pip3 install -I ..
    上記コマンドを実行してもエラーで更新できない場合、libやdevを含むパッケージを探しインストールします。

　cuDNN のインストール

　aptのリポジトリにcudaドライバを追加し、インストールします。

    $ echo "deb https://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1804/x86_64 /" | sudo tee /etc/apt/sources.list.d/nvidia-ml.list
    $ sudo apt update
    $ sudo apt install libcudnn7-dev

　　　　　CuDNNが動作しているか、テスト用のサンプルコードで確認します。
　　　　　開発者のページからCode Smples and User Guide for Ubuntu 18.04をダウンロードします。

            $ cp -r /usr/src/cudnn_samples_v7/ $HOME
            $ cd $HOME/cudnn_samples_v7/mnistCUDNN
            $ make clean && make
            $ ./mnistCUDNN
            "Test passed"という文字が出力されていれば、正常にインストールされたことになります。

　bazelのインストール

　これはmakeに相当するものです。

    $ sudo apt-get install openjdk-8-jdk
    $ echo "deb [arch=amd64] http://storage.googleapis.com/bazel-apt stable jdk1.8" | sudo tee /etc/apt/sources.list.d/bazel.list
    $ curl https://bazel.build/bazel-release.pub.gpg | sudo apt-key add -
    $ sudo apt-get update && sudo apt-get install bazel

　tensorflowのビルド

    $ cd tensorflow 
    $ ./configure   
    コマンドラインの質問に答えます。選択の中で大文字がデフォルトです。ディフォルトから変更した項目は以下です。
　　　　Please specify the location of python. [Default is /usr/bin/python]: /usr/bin/python3
　　　　Do you wish to build TensorFlow with CUDA support? [y/N]: Y
　　　　Please specify the location where CUDA 10.0 toolkit is installed. Refer to README.md for more details. [Default is /usr/local/cuda]: /usr/local/cuda
　　　　Please specify the cuDNN version you want to use. [Leave empty to default to cuDNN 7.0]: 7.3.1
　　　　Please specify the location where cuDNN 7 library is installed. Refer to README.md for more details. [Default is /usr/local/cuda]:/usr/local/cuda/lib64 
　　　　Please specify the NCCL version you want to use. [Leave empty to default to NCCL 1.3]: 2.３
　　　　Please specify the location where NCCL 2 library is installed. Refer to README.md for more details. [Default is /usr/local/cuda]:/usr/local/cuda/targets/x86_64-linux

　実際のビルドは以下のコマンドを実行します。

    $ bazel build --config=opt --config=cuda //tensorflow/tools/pip_package:build_pip_package

　ビルドの時間は１時間１５分程度かかりました。この時間はスレッド数が多いCPUでは時間が短くなります。
tensorflowインストール用のパッケージを作成します。

    $ bazel-bin/tensorflow/tools/pip_package/build_pip_package /tmp/tensorflow_pkg

仮想環境tf_1.12GPUに切り替えます。

    $ workon tf_1.12GPU 

　 切り替えた仮想環境内ではnumpyなど必要なパッケージはpipでインストールします。
　 この時、インストールは仮想環境のみ使えるようsudo pipではなくpip　パッケージ名とします。
次のコマンドで、先ほど作成したtensorflowパッケージをインストールします。

    $ pip install --upgrade /tmp/tensorflow_pkg/tensorflow-*.whl

　tensorflowの動作テスト

　python3を起動させ、以下のプログラムで、”Hello, TensorFlow!”が出力されれば正常です。

    $ python3
    >>> import tensorflow as tf
    >>> hello = tf.constant('Hello, TensorFlow!')
    >>> sess = tf.Session()
    >>> print(sess.run(hello))

　Tensorflowベンチマーク

　tensorflowのチュートリアルにあるmnist_deep.pyを次のように実行させます。

　 $time python3 mnist_deep.py

この実行の経過時間は１３４秒でした。これはAWSのｇ３インスタンス程度、ｐ３インスタンスの２倍の時間でした。
GPUをGTX1080Tiにすれば実行時間は1/2～1/3になると思われます。