分子動力学計算を行うためにlammpsを導入したいと思っていたのですが、GPUに対応させるのが結構面倒だったため、備忘録として記録してみます。
前提環境
OS: Ubuntu20.04
GPU: GTX1660Ti
事前準備
１．環境の更新
$sudo apt update
$sudo apt upgrade
必要なパッケージのインストール
以下の解説がとても助かりました。
https://qiita.com/hirta/items/efadb69c6166dbcf662f
２．GPUの認識確認
参考サイト：https://qiita.com/sabaku20XX/items/97db2c0bf7298e3a645c
$lspci | grep -i nvidia
$cat /proc/driver/nvidia/version
$nvidia-smi
GPUの型番とドライバーバージョンが正しいものを認識している事を確認する。
ドライバーのバージョンは後のCUDAをインストールする際に必要になるのでメモしておく。
※ドライバーがインストールされていなかった場合、NVIDIAのHPからインストールします。
https://www.nvidia.co.jp/Download/index.aspx?lang=jp
私の場合、ドライバーのバージョンは 525.116.03 でした。
3．CUDAのインストール
ドライバーのバージョンに対応したCUDAのバージョンを調べる。今回の環境では、525.116.03なのでCUDA12.1をダウンロードできるようです。
https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html#cuda-major-component-versions__table-cuda-toolkit-driver-versions
NVIDIAサイトから所望のバージョンのCUDAをインストールする
https://developer.nvidia.com/cuda-downloads?target_os=Linux&target_arch=x86_64&Distribution=Ubuntu&target_version=20.04&target_type=deb_local
私の場合以下のコマンドを入力しました。
$get https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/cuda-ubuntu2004.pin
$sudo mv cuda-ubuntu2004.pin /etc/apt/preferences.d/cuda-repository-pin-600
$wget https://developer.download.nvidia.com/compute/cuda/12.1.1/local_installers/cuda-repo-ubuntu2004-12-1-local_12.1.1-530.30.02-1_amd64.deb
$sudo dpkg -i cuda-repo-ubuntu2004-12-1-local_12.1.1-530.30.02-1_amd64.deb
$sudo cp /var/cuda-repo-ubuntu2004-12-1-local/cuda-*-keyring.gpg /usr/share/keyrings/
$sudo apt-get update
$sudo apt-get -y install cuda
※下のサイトを見るとインストールする際の要件が書いているため、必要に応じて確認する（gccのバ-ジョンが古いなどするとエラーを吐くかもしれないため）。
https://docs.nvidia.com/cuda/cuda-installation-guide-linux/index.html
lammpsインストール
１．lammpsのHPからstable版をローカルにダウンロード
https://www.lammps.org/download.html
（私のときは23 Jun 2022のバージョンでした)
２．ダウンロードしたディレクトリ内で解凍
$tar -xvf lammps-stable.tar.gz
３．cmakeを使ったコンパイル
lammpsマニュアルに詳しい手順があるため、それに準拠する。
https://docs.lammps.org/Build_cmake.html
また、コンパイルする際にどのパッケージをインストールするかをpresetsも使いながら../cmakeの手前に記述しておく
https://docs.lammps.org/Build_package.html#cmake-presets
$cd lammps-23Jun2022
$mkdir build; cd build
$cmake -C ../cmake/presets/basic.cmake -D PKG_GPU=on -D GPU_API=cuda -D GPU_ARCH=sm_90 -DBIN2C=/usr/local/cuda-12.1/bin/bin2c ../cmake
$cmake --build .
$make install
※GPU_ARCHはインストールしているCUDAバージョンによって決まるので、適宜変更する。
※make install 後に別のパッケージを入れたいときは、一度コンパイル内容をリセットした上で再度cmake ../cmakeを行う必要がある。
PATHを通す
CUDAの場所とコンパイルしたlammpsの場所にPATHを通したいので、以下をbashrcに追記する。
$export PATH=/home/user/.local/bin:$PATH
$export PATH=/usr/local/cuda/bin:$PATH
GPU計算を実行する
lammps-23jun2022/exsamples/melt/内のin.meltをGPUで実行する。
$mpirun -np 2 lmp -sf gpu -pk gpu 1 -in in.melt
うまくいけば以下のような表示のあとに計算が実行される。
LAMMPS (23 Jun 2022 - Update 3)
OMP_NUM_THREADS environment is not set. Defaulting to 1 thread. (src/comm.cpp:98)
using 1 OpenMP thread(s) per MPI task
package gpu 0
package gpu 1
# 3d Lennard-Jones melt
units lj
atom_style atomic
lattice fcc 0.8442
Lattice spacing in x,y,z = 1.6795962 1.6795962 1.6795962
region box block 0 30 0 30 0 30
create_box 1 box
Created orthogonal box = (0 0 0) to (50.387886 50.387886 50.387886)
1 by 1 by 2 MPI processor grid
create_atoms 1 box
Created 108000 atoms
using lattice units in orthogonal box = (0 0 0) to (50.387886 50.387886 50.387886)
create_atoms CPU = 0.006 seconds
mass 1 1.0
velocity all create 3.0 87287 loop geom
pair_style lj/cut 2.5
pair_coeff 1 1 1.0 1.0 2.5
neighbor 0.3 bin
neigh_modify every 20 delay 0 check no
fix 1 all nve
dump id all atom 50 dump.melt
#dump 2 all image 25 image.*.jpg type type # axes yes 0.8 0.02 view 60 -30
#dump_modify 2 pad 3
#dump 3 all movie 25 movie.mpg type type # axes yes 0.8 0.02 view 60 -30
#dump_modify 3 pad 3
thermo 50
run 100000
CITE-CITE-CITE-CITE-CITE-CITE-CITE-CITE-CITE-CITE-CITE-CITE-CITE
Your simulation uses code contributions which should be cited:
- GPU package (short-range, long-range and three-body potentials):
@Article{Brown11,
author = {W. M. Brown, P. Wang, S. J. Plimpton, A. N. Tharrington},
title = {Implementing Molecular Dynamics on Hybrid High Performance Computers - Short Range Forces},
journal = {Comp.~Phys.~Comm.},
year = 2011,
volume = 182,
pages = {898--911}
}
@Article{Brown12,
author = {W. M. Brown, A. Kohlmeyer, S. J. Plimpton, A. N. Tharrington},
title = {Implementing Molecular Dynamics on Hybrid High Performance Computers - Particle-Particle Particle-Mesh},
journal = {Comp.~Phys.~Comm.},
year = 2012,
volume = 183,
pages = {449--459}
}
@Article{Brown13,
author = {W. M. Brown, Y. Masako},
title = {Implementing Molecular Dynamics on Hybrid High Performance Computers – Three-Body Potentials},
journal = {Comp.~Phys.~Comm.},
year = 2013,
volume = 184,
pages = {2785--2793}
}
@Article{Trung15,
author = {T. D. Nguyen, S. J. Plimpton},
title = {Accelerating dissipative particle dynamics simulations for soft matter systems},
journal = {Comput.~Mater.~Sci.},
year = 2015,
volume = 100,
pages = {173--180}
}
@Article{Trung17,
author = {T. D. Nguyen},
title = {GPU-accelerated Tersoff potentials for massively parallel Molecular Dynamics simulations},
journal = {Comp.~Phys.~Comm.},
year = 2017,
volume = 212,
pages = {113--122}
}
@Article{Nikolskiy19,
author = {V. Nikolskiy, V. Stegailov},
title = {GPU acceleration of four-site water models in LAMMPS},
journal = {Proceeding of the International Conference on Parallel Computing (ParCo 2019), Prague, Czech Republic},
year = 2019
}
CITE-CITE-CITE-CITE-CITE-CITE-CITE-CITE-CITE-CITE-CITE-CITE-CITE
Generated 0 of 0 mixed pair_coeff terms from geometric mixing rule
Per MPI rank memory allocation (min/avg/max) = 19.08 | 19.08 | 19.08 Mbytes
Step Temp E_pair E_mol TotEng Press
0 3 -6.7733675 0 -2.2734092 -3.7027414
50 1.6702985 -4.7866625 0 -2.2812379 5.6590718
100 1.6543097 -4.7617353 0
~~~
以下計算結果が続く
CPU計算とGPU計算の比較
in.meltの系をｘ，ｙ，ｚそれぞれ３倍にし、解析ステップ数を100,000とした場合
CPUのみ
$mpirun -np 8 lmp -in in.melt
計算時間：17分
GPUを使用した場合
$mpirun -np 2 lmp -sf gpu -pk gpu 1 -in in.melt
計算時間：5分
5万程度のGPUでも大幅に計算速度が向上していることが確認出来ました。
計算結果のアニメーション
※追記
RTX A4000 の場合、同計算が30秒で終了した。 粒子数の多い計算にGPUは効果的のようだ。