スパコンITO のフロントエンドの Jupyter で TensorFlow を使えるようにします．フロントエンドと Jupyter の設定手順はこちらの記事にまとめています．
フロントエンドで GPU が使えるのはベアメタルのみです．GPU を利用するためには，フロントエンドの資源を予約する際に，ベアメタルを選択する必要があります．GPU はフロントエンド仮想マシンでは利用できません．
NVIDIA の GPU を利用した，Linux 環境における TensorFlow のインストール方法は，スパコンITOに限らず，一般的な内容です．

フロントエンドノードで GPU の設定

こちらの記事を参照して，予約したフロントエンドノードにログインします．スパコンITOでは module を load することで様々なソフトウエアを利用できます．TensorFlow 2.1 で GPU を使用するために必要となる，CUDA 10.1 をloadします.TensorFlow と GPU それぞれのバージョンの組み合わせは要注意です．TensorFlow 2.1 は CUDA 10.1 が必要です．
CUDA の load は TensorFlow のインストール時だけでなく，TensorFlow 実行時に毎回必要です．

# ログイン後に必要要件を実行します
$ ulimit -v 20140000
$ ulimit -u 512
# GPU利用のため適切なバージョンのcudaをloadします
$ module load cuda/10.1
# cudaがloadされたことを確認します．著者の環境ではIntelコンパイラもloadされています．
$ module list
Currently Loaded Modulefiles:
  1) intel/2019.4   2) cuda/10.1

# NVIDIA CUDA Toolkit のバージョンが確認できれば成功です
$ nvcc --version
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2019 NVIDIA Corporation
Built on Sun_Jul_28_19:07:16_PDT_2019
Cuda compilation tools, release 10.1, V10.1.243

TensorFlow のインストールと確認

最初は Intel のディストリビューションで仮想環境を構築した上で，Anaconda Cloud を参照し，intel channel を含む様々なchannelの TensorFlow 2.1 のインストールを試しました．しかし，GPU が認識されませんでした．結局，anaconda channel で仮想環境を構築し，anaconda channel で tensorflow-gpu パッケージをインストールすることで成功しました．
こちらの記事で整備したMinicondaを用いました．新しい仮想環境 tf を用意して作業を進めます．

$ conda create -c anaconda -n tf
$ conda activate tf
$ conda install -c anaconda tensorflow-gpu

TensorFlow が GPU を認識するか，確認しましょう．Python環境で以下を実行します．

from tensorflow.python.client import device_lib
device_lib.list_local_devices()

実際にやってみると以下のようになりました．Python環境では Shift-Enter で実行します．下の方に，device_type: "GPU" が現れ，GPU を認識していることが確認できます．Python環境から抜けるには quit() を実行します．

$ python
Python 3.7.7 (default, Mar 26 2020, 15:48:22)
[GCC 7.3.0] :: Anaconda, Inc. on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> from tensorflow.python.client import device_lib
>>> device_lib.list_local_devices()
2020-04-12 10:07:00.887858: I tensorflow/core/platform/cpu_feature_guard.cc:142] Your CPU supports instructions that this TensorFlow binary was not compiled to use: SSE4.1 SSE4.2 AVX AVX2 AVX512F FMA
2020-04-12 10:07:01.650004: I tensorflow/core/platform/profile_utils/cpu_utils.cc:94] CPU Frequency: 2300000000 Hz
2020-04-12 10:07:01.674747: I tensorflow/compiler/xla/service/service.cc:168] XLA service 0x7fd2f0c37f20 initialized for platform Host (this does not guarantee that XLA will be used). Devices:
2020-04-12 10:07:01.674811: I tensorflow/compiler/xla/service/service.cc:176]   StreamExecutor device (0): Host, Default Version
2020-04-12 10:07:01.862541: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library libcuda.so.1
2020-04-12 10:07:02.015789: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1555] Found device 0 with properties:
pciBusID: 0000:37:00.0 name: Quadro P4000 computeCapability: 6.1
coreClock: 1.48GHz coreCount: 14 deviceMemorySize: 7.93GiB deviceMemoryBandwidth: 226.62GiB/s
2020-04-12 10:07:02.066758: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library libcudart.so.10.1
2020-04-12 10:07:07.009068: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library libcublas.so.10
2020-04-12 10:07:10.726880: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library libcufft.so.10
2020-04-12 10:07:11.122902: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library libcurand.so.10
2020-04-12 10:07:16.866789: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library libcusolver.so.10
2020-04-12 10:07:17.233256: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library libcusparse.so.10
2020-04-12 10:07:21.609688: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library libcudnn.so.7
2020-04-12 10:07:21.630634: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1697] Adding visible gpu devices: 0
2020-04-12 10:07:21.653310: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library libcudart.so.10.1
2020-04-12 10:07:21.868090: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1096] Device interconnect StreamExecutor with strength 1 edge matrix:
2020-04-12 10:07:21.868135: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1102]      0
2020-04-12 10:07:21.881889: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1115] 0:   N
2020-04-12 10:07:21.953254: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1241] Created TensorFlow device (/device:GPU:0 with 7609 MB memory) -> physical GPU (device: 0, name: Quadro P4000, pci bus id: 0000:37:00.0, compute capability: 6.1)
2020-04-12 10:07:22.064372: I tensorflow/compiler/xla/service/service.cc:168] XLA service 0x7fd2f185b0d0 initialized for platform CUDA (this does not guarantee that XLA will be used). Devices:
2020-04-12 10:07:22.064411: I tensorflow/compiler/xla/service/service.cc:176]   StreamExecutor device (0): Quadro P4000, Compute Capability 6.1
[name: "/device:CPU:0"
device_type: "CPU"
memory_limit: 268435456
locality {
}
incarnation: 604661095847797083
, name: "/device:XLA_CPU:0"
device_type: "XLA_CPU"
memory_limit: 17179869184
locality {
}
incarnation: 8073603212876973691
physical_device_desc: "device: XLA_CPU device"
, name: "/device:GPU:0"
device_type: "GPU"
memory_limit: 7979450368
locality {
  bus_id: 1
  links {
  }
}
incarnation: 4571149872542587611
physical_device_desc: "device: 0, name: Quadro P4000, pci bus id: 0000:37:00.0, compute capability: 6.1"
, name: "/device:XLA_GPU:0"
device_type: "XLA_GPU"
memory_limit: 17179869184
locality {
}
incarnation: 3629064078974056009
physical_device_desc: "device: XLA_GPU device"
]
>>>

必要なパッケージをインストールする

TensorFlow の他に必要なパッケージを tf仮想環境にインストールしておきます．channel は anaconda を指定しました．必須の jupyterlab に加え，リモートセンシング解析のため，以下をインストールしました．

$ conda install -c anaconda jupyterlab matplotlib rasterio scikit-learn

Jupyterを立ち上げる

Jupyter を起動し，TensorFlow を import して使えるようにします．方法の詳細はこちらの記事にまとめてあります．要約すると，以下の手順です．

# 1. ログインノードのターミナルにおいて以下を実行し，フロントエンドノードに入る

$ ssh -A -Y Floating_IP
# Floating_IP はメールで送られてくる，172.18.32.191 のようなIPアドレスです．

# 2. フロントエンドノードにおいて，Jupyterを起動

# Jupyter Notebook の場合
$ jupyter notebook --ip=127.0.0.1 --port=8888 --no-browser
# JupterLab の場合
$ jupyter lab --ip=127.0.0.1 --port=8888 --no-browser

# 3. 1.で現れる以下のようなurlをクライアントのブラウザurlに貼り付け実行
http://127.0.0.1:8888/?token=...

注意： JupyterLab で実行中にcellが * 状態で止まってしまうことがありました．その場合は Kernel の Restart Kernel で解決しました．

パッケージの確認

パッケージは日々更新されますので，インストールの日時によって挙動が異なります．2020年4月11日時点での上記の方法によるパッケージリストを示しておきます．ただし，上記インストールのうち，scikit-learn は含まれていません．

$ conda list
# packages in environment at /home/usr1/m00000a/local/miniconda3/envs/tf:
#
# Name                    Version                   Build  Channel
_tflow_select             2.1.0                       gpu    anaconda
absl-py                   0.9.0                    py37_0    anaconda
affine                    2.3.0                      py_0    anaconda
asn1crypto                1.3.0                    py37_0    anaconda
astor                     0.8.0                    py37_0    anaconda
attrs                     19.3.0                     py_0    anaconda
backcall                  0.1.0                    py37_0    anaconda
blas                      1.0                         mkl    anaconda
bleach                    3.1.0                    py37_0    anaconda
blinker                   1.4                      py37_0    anaconda
boost-cpp                 1.72.0               h8e57a91_0    conda-forge
bzip2                     1.0.8                h7b6447c_0    anaconda
c-ares                    1.15.0            h7b6447c_1001    anaconda
ca-certificates           2020.1.1                      0    anaconda
cachetools                3.1.1                      py_0    anaconda
cairo                     1.16.0            hcf35c78_1003    conda-forge
certifi                   2020.4.5.1               py37_0    anaconda
cffi                      1.14.0           py37h2e261b9_0    anaconda
cfitsio                   3.470                hb7c8383_2    anaconda
chardet                   3.0.4                 py37_1003    anaconda
click                     7.1.1                      py_0    anaconda
click-plugins             1.1.1                      py_0    anaconda
cligj                     0.5.0                    py37_0    anaconda
cryptography              2.8              py37h1ba5d50_0    anaconda
cudatoolkit               10.1.243             h6bb024c_0    anaconda
cudnn                     7.6.5                cuda10.1_0    anaconda
cupti                     10.1.168                      0    anaconda
curl                      7.69.1               hbc83047_0    anaconda
cycler                    0.10.0                   py37_0    anaconda
decorator                 4.4.2                      py_0    anaconda
defusedxml                0.6.0                      py_0    anaconda
entrypoints               0.3                      py37_0    anaconda
expat                     2.2.9                he1b5a44_2    conda-forge
fontconfig                2.13.1            h86ecdb6_1001    conda-forge
freetype                  2.10.1                        1    intel
freexl                    1.0.5                h14c3975_0    anaconda
gast                      0.2.2                    py37_0    anaconda
geos                      3.8.0                he6710b0_0    anaconda
geotiff                   1.5.1                h38872f0_8    conda-forge
giflib                    5.2.1                h516909a_2    conda-forge
glib                      2.63.1               h5a9c865_0    anaconda
gmp                       6.1.2                hb3b607b_0    anaconda
google-auth               1.13.1                     py_0    anaconda
google-auth-oauthlib      0.4.1                      py_2    anaconda
google-pasta              0.2.0                      py_0    anaconda
grpcio                    1.27.2           py37hf8bcb03_0    anaconda
h5py                      2.10.0          nompi_py37h513d04c_102    conda-forge
hdf4                      4.2.13               h3ca952b_2
hdf5                      1.10.5          nompi_h3c11f04_1104    conda-forge
icu                       64.2                 he1b5a44_1    conda-forge
idna                      2.9                        py_1    anaconda
importlib_metadata        1.5.0                    py37_0    anaconda
intel-openmp              2020.0                      166    anaconda
intelpython               2020.1                        0    intel
ipykernel                 5.1.4            py37h39e3cac_0    anaconda
ipython                   7.13.0           py37h5ca1d4c_0    anaconda
ipython_genutils          0.2.0                    py37_0    anaconda
jedi                      0.16.0                   py37_1    anaconda
jinja2                    2.11.1                     py_0    anaconda
jpeg                      9c                h14c3975_1001    conda-forge
json-c                    0.13.1               h1bed415_0    anaconda
json5                     0.9.4                      py_0    anaconda
jsonschema                3.2.0                    py37_0    anaconda
jupyter_client            6.1.2                      py_0    anaconda
jupyter_core              4.6.3                    py37_0    anaconda
jupyterlab                1.2.6              pyhf63ae98_0    anaconda
jupyterlab_server         1.1.0                      py_0    anaconda
kealib                    1.4.13               hec59c27_0    conda-forge
keras-applications        1.0.8                      py_0    anaconda
keras-preprocessing       1.1.0                      py_1    anaconda
kiwisolver                1.1.0            py37he6710b0_0    anaconda
krb5                      1.17.1               h173b8e3_0    anaconda
ld_impl_linux-64          2.33.1               h53a641e_7    anaconda
libblas                   3.8.0                    14_mkl    conda-forge
libcblas                  3.8.0                    14_mkl    conda-forge
libcurl                   7.69.1               h20c2e04_0    anaconda
libdap4                   3.20.4               hd3bb157_0    conda-forge
libedit                   3.1.20181209         hc058e9b_0    anaconda
libffi                    3.2.1                h4deb6c0_3    anaconda
libgcc-ng                 9.1.0                hdf63c60_0    anaconda
libgdal                   3.0.4                h20022a4_0    conda-forge
libgfortran-ng            7.3.0                hdf63c60_0    anaconda
libiconv                  1.15                 h63c8f33_5    anaconda
libkml                    1.3.0             hb574062_1011    conda-forge
liblapack                 3.8.0                    14_mkl    conda-forge
libnetcdf                 4.7.3           nompi_h9f9fd6a_101    conda-forge
libpng                    1.6.37               hbc83047_0    anaconda
libpq                     12.2                 h20c2e04_0    anaconda
libprotobuf               3.11.4               hd408876_0    anaconda
libsodium                 1.0.16               h1bed415_0    anaconda
libspatialite             4.3.0a            ha48a99a_1034    conda-forge
libssh2                   1.9.0                h1ba5d50_1    anaconda
libstdcxx-ng              9.1.0                hdf63c60_0    anaconda
libtiff                   4.1.0                hc3755c2_3    conda-forge
libuuid                   2.32.1            h14c3975_1000    conda-forge
libwebp                   1.0.2                h56121f0_5    conda-forge
libxcb                    1.13                 h1bed415_1    anaconda
libxml2                   2.9.10               hee79883_0    conda-forge
lz4-c                     1.8.3             he1b5a44_1001    conda-forge
markdown                  3.1.1                    py37_0    anaconda
markupsafe                1.1.1            py37h7b6447c_0    anaconda
matplotlib                3.1.2                    py37_3    intel
mistune                   0.8.4            py37h7b6447c_0    anaconda
mkl                       2019.5                      281    anaconda
mkl-service               2.3.0            py37he904b0f_0    anaconda
mkl_fft                   1.0.15           py37ha843d7b_0    anaconda
mkl_random                1.1.0            py37hd6b4f25_0    anaconda
nbconvert                 5.6.1                    py37_0    anaconda
nbformat                  5.0.4                      py_0    anaconda
ncurses                   6.2                  he6710b0_0    anaconda
notebook                  6.0.3                    py37_0    anaconda
numpy                     1.17.5           py37h95a1406_0    conda-forge
numpy-base                1.18.1           py37hde5b4d6_1    anaconda
oauthlib                  3.1.0                      py_0    anaconda
openjpeg                  2.3.1                h981e76c_3    conda-forge
openssl                   1.1.1                h7b6447c_0    anaconda
opt_einsum                3.1.0                      py_0    anaconda
pandoc                    2.2.3.2                       0    anaconda
pandocfilters             1.4.2                    py37_1    anaconda
parso                     0.6.2                      py_0    anaconda
pcre                      8.43                 he6710b0_0    anaconda
pexpect                   4.8.0                    py37_0    anaconda
pickleshare               0.7.5                    py37_0    anaconda
pip                       20.0.2                   py37_1    anaconda
pixman                    0.38.0               h7b6447c_0    anaconda
poppler                   0.67.0               h14e79db_8    conda-forge
poppler-data              0.4.9                         0    anaconda
postgresql                12.2                 h20c2e04_0    anaconda
proj                      6.3.0                hc80f0dc_0    conda-forge
prometheus_client         0.7.1                      py_0    anaconda
prompt-toolkit            3.0.4                      py_0    anaconda
prompt_toolkit            3.0.4                         0    anaconda
protobuf                  3.11.4           py37he6710b0_0    anaconda
ptyprocess                0.6.0                    py37_0    anaconda
pyasn1                    0.4.8                      py_0    anaconda
pyasn1-modules            0.2.7                      py_0    anaconda
pycparser                 2.20                       py_0    anaconda
pygments                  2.6.1                      py_0    anaconda
pyjwt                     1.7.1                    py37_0    anaconda
pyopenssl                 19.1.0                   py37_0    anaconda
pyparsing                 2.4.6                      py_0    anaconda
pyrsistent                0.16.0           py37h7b6447c_0    anaconda
pysocks                   1.7.1                    py37_0    anaconda
python                    3.7.7           hcf32534_0_cpython    anaconda
python-dateutil           2.8.1                      py_0    anaconda
pytz                      2019.3                     py_0    anaconda
pyzmq                     18.1.1           py37he6710b0_0    anaconda
rasterio                  1.1.0            py37h41e4f33_0    anaconda
readline                  8.0                  h7b6447c_0    anaconda
requests                  2.23.0                   py37_0    anaconda
requests-oauthlib         1.3.0                      py_0    anaconda
rsa                       4.0                        py_0    anaconda
scipy                     1.4.1            py37h0b6359f_0    anaconda
send2trash                1.5.0                    py37_0    anaconda
setuptools                46.1.3                   py37_0    anaconda
six                       1.14.0                   py37_0    anaconda
snuggs                    1.4.7                      py_0    anaconda
sqlite                    3.31.1               h7b6447c_0    anaconda
tbb                       2018.0.5             h6bb024c_0    anaconda
tcl                       8.6.9                        24    intel
tensorboard               2.1.0                     py3_0    anaconda
tensorflow                2.1.0           gpu_py37h7a4bb67_0    anaconda
tensorflow-base           2.1.0           gpu_py37h6c5654b_0    anaconda
tensorflow-estimator      2.1.0              pyhd54b08b_0    anaconda
tensorflow-gpu            2.1.0                h0d30ee6_0    anaconda
termcolor                 1.1.0                    py37_1    anaconda
terminado                 0.8.3                    py37_0    anaconda
testpath                  0.4.4                      py_0    anaconda
tiledb                    1.7.0                hcde45ca_2    conda-forge
tk                        8.6.8                hbc83047_0    anaconda
tornado                   6.0.4            py37h7b6447c_1    anaconda
traitlets                 4.3.3                    py37_0    anaconda
urllib3                   1.25.8                   py37_0    anaconda
wcwidth                   0.1.9                      py_0    anaconda
webencodings              0.5.1                    py37_1    anaconda
werkzeug                  1.0.0                      py_0    anaconda
wheel                     0.34.2                   py37_0    anaconda
wrapt                     1.12.1           py37h7b6447c_1    anaconda
xerces-c                  3.2.2             h8412b87_1004    conda-forge
xorg-kbproto              1.0.7             h14c3975_1002    conda-forge
xorg-libice               1.0.10               h516909a_0    conda-forge
xorg-libsm                1.2.3             h84519dc_1000    conda-forge
xorg-libx11               1.6.9                h516909a_0    conda-forge
xorg-libxext              1.3.4                h516909a_0    conda-forge
xorg-libxrender           0.9.10            h516909a_1002    conda-forge
xorg-renderproto          0.11.1            h14c3975_1002    conda-forge
xorg-xextproto            7.3.0             h14c3975_1002    conda-forge
xorg-xproto               7.0.31            h14c3975_1007    conda-forge
xz                        5.2.4                h14c3975_4    anaconda
zeromq                    4.3.1                he6710b0_3    anaconda
zipp                      2.2.0                      py_0    anaconda
zlib                      1.2.11               h7b6447c_3    anaconda
zstd                      1.4.4                h3b9ef0a_2    conda-forge