Environment modulesのインストール

Environment modulesはスパコンやクラスタコンピュータなど大人数のユーザーが同時に利用する時にあると便利なツールです。Wisteria/BDEC-01やFlow, TSUBAME3.0などの大型計算機でも使われています。

$ module avail
------------------- /home/apps/Modules/modulefiles/compiler --------------------
gcc/8.4.0  gcc/9.3.0  gcc/10.3.0  gcc/12.2.0

--------------------- /home/apps/Modules/modulefiles/cuda ----------------------
cuda/11.1.105  cuda/11.6.112

--------------------- /home/apps/Modules/modulefiles/free ----------------------
alphafold/2.2.0     hh-suite/3.3           openbabel/3.1.1
alphafold/2.3.1     hmmer/3.3.2            openfold/1.0.0
blastplus/2.13.0    julia/1.6.7            openmpi/3.1.6_gcc10.3.0
colabfold_batch     julia/1.7.3            openmpi/4.0.5_gcc8.4.0
foldseek/3-915ef7d  julia/1.8.3            openmpi/4.1.1_gcc10.3.0
foldseek/4-645b789  mmseqs2/13-45111       Rosetta/3.13
gromacs/2021.5      mmseqs2/20220912       Scwrl/4.0.2
gromacs/2021.6      vmd/1.9.4a51
gromacs/2022.2      modeller/10.1
gromacs/2022.4      NAMD/Git-2021-01-14

---------------------- /home/apps/Modules/modulefiles/isv ----------------------
amber20  amber22  gaussian16.C01  gaussian16.C02

--------------------- /home/apps/Modules/modulefiles/tools ---------------------
bazel/3.1.0  python3.8  python3.9

------------------- /home/apps/Modules/modulefiles/linuxbrew -------------------
cd-hit  dssp  edirect  maxit  mican  python3.10  python3.11  tmalign

Key:
default-version  modulepath

Introduction

スパコンやクラスタコンピュータなどの共有計算機上では、多くのユーザーが利用することのあるソフトウェアをユーザー全員がアクセス可能な領域（/usr/localとか）にインストールして利用してもらえば容量を圧迫せずに済ませられます。また、同じソフトウェアでも異なるバージョンのソフトウェアを使い分けたいということもあります。

ここでは共有計算機の管理者向けに、Environment modulesのインストール方法とその使い方例を示します。公式インストールガイドはここ https://modules.readthedocs.io/en/latest/INSTALL.html ソースコードはGitHub上の https://github.com/cea-hpc/modules/releases にあるので、ここから最新版をダウンロードしてくることができます。

インストール方法

CentOSの場合はyum install environment-modulesでインストールできます。が、最新版を使いたいという方は以下のソースコードインストール方法を試してみましょう。Ubuntu 22.04の人はまず

sudo apt -y install automake autoconf autopoint tcl-dev tk-dev

としてtcl, tkをインストールしておく必要があります。その後Environment Modulesのインストールを行います。

# Environment modules 5.3.1のダウンロード
wget https://github.com/cea-hpc/modules/releases/download/v5.4.0/modules-5.4.0.tar.gz
# 解凍
tar zxvf modules-5.4.0.tar.gz
cd modules-5.4.0/
# ./configure設定。prefixにはインストール先を指定する
./configure --prefix=/home/apps/Modules --modulefilesdir=/home/apps/Modules/modulefiles
# インストール。rootでない場合はsudoが必要なことがあります
make -j4 ; sudo make install
# /etc/profile.d に設定ファイルのシンボリックリンクを作成しておけばbash, csh起動時に自動的に読み込まれる（はず）。※zshの場合は読まれない
sudo ln -s /home/apps/Modules/init/profile.sh /etc/profile.d/modules.sh
sudo ln -s /home/apps/Modules/init/profile.csh /etc/profile.d/modules.csh

この後ログアウト＆ログインするか各種. /home/apps/Modules/init/profile.shを実行してからmodule availでenvironment moduleっぽい結果が帰ってきたら成功です。

zsh使いの方がログイン時に自動的に読み込まれるようにしたい場合は https://qiita.com/yuku_t/items/40bcc63bb8ad94f083f1 の記事などを参考に設定して、システムグローバルに適用したい場合は/etc/zshenv（Redhat系の場合）, /etc/zsh/zshenv（Ubuntuの場合）に、または個人的でよければ自身の~/.zshrcに. /home/apps/Modules/init/zshの一行を追記しておくと良いでしょう。

moduleコマンドの使い方

とりあえず基本的なものはいくつか覚えておきましょう。マニュアルはここ https://modules.readthedocs.io/en/latest/module.html

• module avail
  その計算機に登録されているmodule一覧を表示する

• module load <module_name>
  moduleをロードすることで、それについてのPATHや環境変数などを追加してくれる。スペースで区切ることで同時にいくつもロード可能

• module unload <module_name>
  moduleをアンロードすることで、それについてのPATHや環境変数などの設定を削除してくれる

• module reload
  現在ロードされているmoduleを一度アンロードして直後にロードし直す。reloadはrefreshでも可。

• module list
  現在ユーザーがロードしているmoduleの一覧を表示してくれる

• module purge
  現在ユーザーがロードしているmoduleをすべてアンロードする

シェルスクリプト内でも利用可能です。もしシェルスクリプト内でmoduleコマンドが使えないという場合は、その直前に. /home/apps/Modules/init/sh の行を追加し（使用しているシェルに応じて最後のsh部分を変更する）、module系コマンドの設定を読みこんでおけば解決します。

modulefileの書き方例

以下に例を示します。ちなみにReedbushやTSUBAME 3.0などEnvironment modulesを導入している計算機を利用している場合、その設定ファイルはユーザーならば誰でも中身が見えるようになっているはずなので、それを参考に書くこともできます。
書き方はtcl文法に則っているようです。

CUDA 12.1

#%Module1.0
##
##      cuda module
##

set ver         12.1.1
set modroot     /usr/local/cuda-12.1

proc ModulesHelp { } {
        puts stderr "Sets up the paths you need to use cuda $ver."
}

prepend-path   PATH            $modroot/bin
prepend-path   CUDA_PATH       $modroot
prepend-path   LD_LIBRARY_PATH $modroot/lib64
prepend-path   C_INCLUDE_PATH  $modroot/include
prepend-path   LIBRARY_PATH    $modroot/lib64
prepend-path   MANPATH         $modroot/doc/man/
prepend-path   CUDA_TOP        $modroot
prepend-path   CUDA_HOME       $modroot

Gromacs 2022.1

#%Module

conflict gromacs
module load cuda/11.8

set base        /usr/local/package/gromacs/2022.1
set ver         2022.1
set ver2        GNU

setenv GMXBIN      $base/bin
setenv GMXDATA     $base/share/gromacs
setenv GMXLDLIB    $base/lib64
setenv GMXMAN      $base/share/man
setenv GROMACS_DIR $base

prepend-path PATH            $base/bin
prepend-path LD_LIBRARY_PATH $base/lib
prepend-path LD_LIBRARY_PATH /usr/local/lib
prepend-path LIBRARY_PATH    $base/lib64
prepend-path CPATH           $base/include/gromacs
prepend-path MANPATH         $base/share/man
prepend-path PKG_CONFIG_PATH $base/lib64/pkgconfig

OpenMPI 4.1.5

#%Module1.0
##
## OpenMPI for GCC 11.3.0 (system default)

proc ModulesHelp { } {
        puts stderr "OpenMPI 4.1.5 for GCC 11.3.0\n"
}

module-whatis   "OpenMPI 4.1.5 for GCC 11.3.0"

set arch        GNU
set pkg_root    /home/apps/openmpi/4.1.5_gcc11.3.0
set ver         4.1.5
set ver2        GCC

# module load gcc/11.3.0

setenv MPI_ROOT $pkg_root
setenv MPICC    mpicc
setenv MPICXX   mpicxx
setenv MPIFC    mpif90

prepend-path PATH            $pkg_root/bin
prepend-path LD_LIBRARY_PATH $pkg_root/lib
prepend-path LIBRARY_PATH    $pkg_root/lib
prepend-path CPATH           $pkg_root/include
prepend-path C_INCLUDE_PATH  $pkg_root/include
prepend-path CPLUS_INCLUDE_PATH  $pkg_root/include
prepend-path MANPATH         $pkg_root/share/man

HH-suite 3.2

#%Module1.0
##
## HHSuite 3.2 (system default)
proc ModulesHelp { } {
        puts stderr "HHSuite 3.2 for GCC 9.4.0\n"
}

module-whatis   "HHSuite 3.2 for GCC 9.4.0"

set arch        GNU
set pkg_root    /usr/local/package/hh-suite/3.2
set ver         3.2
set ver2        GCC

prepend-path HHLIB           $pkg_root
prepend-path PATH            $pkg_root/bin
prepend-path PATH            $pkg_root/scripts

initrc (modulerc)の設定

/home/apps/Modules/etc/initrc (ver.4以前は/home/apps/Modules/init/modulerc) にmodule系コマンドを書き加えることで追加設定することができます。いわゆるbashrcとかzshrcみたいに、起動時に読み込まれる追加設定です。初期状態だとこんな内容になっています。

#%Module1.0
# This file defines the initial module command configuration, the default
# modulefiles search path and modulefiles you want to load by default for all
# users. It should contains lines of module command like 'module config conf
# val', 'module use path' and 'module load mod'
module use --append {/home/apps/Modules/modulefiles}

ここで、module use --append <path>とすると、追加でそのに設定されたディレクトリについても設定を読み込んでくれるようになります。例えば

#%Module1.0
# This file defines the initial module command configuration, the default
# modulefiles search path and modulefiles you want to load by default for all
# users. It should contains lines of module command like 'module config conf
# val', 'module use path' and 'module load mod'
# module use --append {/home/apps/Modules/modulefiles}
module use --append /home/apps/Modules/modulefiles/isv
module use --append /home/apps/Modules/modulefiles/compiler
module use --append /home/apps/Modules/modulefiles/tool
module use --append /home/apps/Modules/modulefiles/free

とすると、これのディレクトリに置かれた設定がmodule availコマンド実行時に分けて表示されます。

$ module avail
------------- /home/apps/Modules/modulefiles/isv -------------
amber22

------------- /home/apps/Modules/modulefiles/tool ------------
cuda/11.2.67  openmpi/4.1.4_gcc9.4.0  pbsutils

------------- /home/apps/Modules/modulefiles/free ------------
gromacs/2021.6  gromacs/2022.1

個人で設定したmodulefileを追加してmoduleコマンドで利用できるようにする

一見これらのmodulefilesの設定は管理者専用に思えますが、実は一般ユーザー側からも自作したmodulefileを書いて設定しておくことで恩恵を授かることができます。 例えば「個人的にインストールしたソフトウェアをEnvironment Modulesに登録したい」とか「（Environment Modulesが入っている）スパコン上で、研究室でライセンスを持っているソフトウェアを、その研究室の学生全員が簡単に使えるようにenvironment modulesから呼び出して使えるようにしたい」ということもあると思います。

これは以下の手順で達成することができます。まず「modulefileの書き方例」を参照して、スパコン上にインストールしたソフトウェアについてのmodulefileを書きます。例えば自前のGromacs 2022.6をスパコンのユーザーディレクトリ上にインストールし、そのmodulefilesを/data/group1/zxxxxxr/modulefiles/gromacs/2022.6というファイルに作成したとします。次にmodule use --append /data/group1/zxxxxxr/modulefilesとコマンドを入力すれば、以降はmodule availからその設定が呼び出せるようになっているはずです。呼び出せることを確認したら上記module useコマンドを~/.bashrcや~/.zshrcなどのrcファイルに追記しておくと、毎度このコマンドを入力する手間が省略されるので大変便利です。

この設定を応用すれば、スパコン上で同じユーザーグループに属する異なるユーザーアカウントから共有のソフトウェアをEnvironment Modulesを使って設定を呼び出すこともできます。同じユーザーグループのみがアクセス可能なディレクトリを作成し（chownとかchgrpのコマンドで設定可能）、使いたいソフトウェアとmodulefilesをそのディレクトリに入れればOKです。

以下はスパコン上で自作のソフトウェアを使えるようにした状態の例です。

$ module avail

------------------------------------------------- /center/local/app/x86/hpci/modulefiles --------------------------------------------------
hpci_abinit-mp/openver1rev22  hpci_frontistr/5.2            hpci_modylas/1.1.0b           hpci_phonopy/2.12.0
hpci_abinit-mp/openver2rev4   hpci_genesis/1.7.0_double_cpu hpci_mvmc/1.2.0               hpci_salmon/2.0.2
hpci_akaikkr/cpa2002v010      hpci_genesis/1.7.0_double_gpu hpci_ntchem/12.1.1            hpci_smash/3.0.0
hpci_akaikkr/cpa2002v010gpu   hpci_genesis/1.7.0_single_cpu hpci_openmx/3.9.9
hpci_alamode/1.3.0            hpci_genesis/1.7.0_single_gpu hpci_phase0/2021.01_2d
hpci_ffb/8.1                  hpci_hphi/3.5.0               hpci_phase0/2021.01_3d

---------------------------------------------------- /data/group1/zxxxxxr/modulefiles -----------------------------------------------------
amber20                 gromacs/2021.5          openmpi/3.1.6_gcc8.4.0  openmpi/4.1.4_gcc8.4.0
amber22                 gromacs/2022.1          openmpi/4.1.4_gcc10.3.0