デフォルトでは順番がGPU応答順で決まる
デフォルトは、早く応答したGPUに0、次のGPUに1...と付与されていく。（単純な経験則によるものと公式ドキュメントに記述）
つまり、実行する度にIDが変わる。
GPUを利用したプログラム実行時に確認しにくいため、PCI BUSのIDに紐付けて管理するよう設定する。
環境変数CUDA_DEVICE_ORDERにより、nvidia-smiが表示するGPUの順番を設定できる。
PCI BUSのIDに紐付けて管理
環境変数CUDA_DEVICE_ORDERに値を設定する。
ログインユーザー全員に適用する場合は、/etc/profileに追記する。
echo "CUDA_DEVICE_ORDER=PCI_BUS_ID" >> /etc/profile
個人の場合は、個人のシェル設定ファイルへ追記する。
これにより、nvidia-smi(CUDA API)を使うアプリケーションからGPUを確認する際に、IDが固定される。
ちなみに、デフォルトの値はFASTEST_FIRSTである。