JagursをWin10で実行する環境を作る

#目的
Jagursという津波伝播シミュレーションをWindows Subsystem for Linux(WSL)上でコンパイルして付属のサンプルを実行する環境づくりの話です。シミュレーション結果の話ではありません。

このソフトは高度な並列化をされているのと、Intel Fortranコンパイラを前提としているため、貧乏人御用達gfortranでコンパイルして実行するまで一筋縄ではいきませんでした。また、僕自身がWSLを使ったことがなかったので自分のための半分メモです。

#Jagursとは
津波伝播シミュレーションのソフトウェアです。ソースコードはgitで公開されています。
シミュレーションのモデルとかアルゴリズムの詳しいことは、公式のgitを見てください。ついでに僕が前に書いた記事を見てください。

基本的なことはマニュアルに書いてるし、記事の内容はマニュアルに沿ったことで書いてます。

#実行環境
HP ProBook 430 G5
CPU: Intel Core i5 (8th)
Memory: 16G
OS: Windows 10 64bit (日本から追い出されてる時に買ったから英語版）

#使うもの
HPC(High Perfoermance Computer )とか持ってるかたはそれを使ってください。
Ubuntu on Windows Subsystem for Linux
gfortran
openmpi
fftw3
PROJ4
気合と根性
Lpic Level 0.5 程度のLinux力　(LPICとは LinuCの存在は認めないマン )

#WSLとLinuxの導入
Qiita:WSL（Windows Subsystem for Linux）を使ってみた
Qiita:WSLでWindowsにLinux開発環境を構築する

WSLとLinuxの導入には先人がたくさんのいい記事を書いてくれてるので、そちらを見てください。
今回導入したLinuxはUbuntu 18.04LTSです（たぶん)。

WSL導入後デフォで放置すると、勝手にSSHが立ち上がるらしいです。
参考：Cygwin絶対殺すマン ～物理のオタクがWindows Subsystem for Linuxで数値計算できるようになるまで～

ユーザー名はtorobuにしました。STU48の土路生優里さん(公式, エケペディア)からもらってきました。石田みなみさんと迷いましたが、ishida か isida か迷いそうなのでやめました。ちなみに、STU48の中で僕の一推しは「石田みなみ」さんです(2018/11/7現在)。 案の定、興味なくなった。(2021/2/9)

#Ubuntuの準備
Ubuntu側で、コンパイラの導入やDevelopment Toolの導入をします。

$ sudo apt-get install build-essential gfortran

これで,automakeなどなど必要そうなものが導入されます。個別に導入できる上級者様はブラウザバックをおすすめします。
導入されたgfortranのバージョンは以下です。

#ライブラリのインストール
JagursをコンパイルするにはHDF5 NetCDF PROJ4 FFTW3 が必要となります。また並列化されてるので、openmpiも導入します。
それぞれをホームディレクトリにダウンロードしてきて、ホームディレクトリ上で展開して、ホームディレクトリ上でコンパイルして、ホームディレクトリに作ったディレクトリにインストールします。
apt-get install でインストールしてもいいんですが、インストール先が不明なのでやめました。
prefix(インストール先)を指定しないと/usr/local以下に導入されるのですが、これをやるとやり直しがすごく大変なので、prefixを毎回指定します。

今回は最適化については何も考慮していません。
カリカリにチューンして最高速度を出したい方は、CFLAGSなどを指定してがんばってください。
僕は-O3に恐怖を覚えるチキンです。

##HDF5
HDF5はNETCDFをコンパイルするのに使います。(公式)
最新っぽいものをダウンロードして使いました。

cd ~/
mkdir hdf5
wget https://support.hdfgroup.org/ftp/HDF5/releases/hdf5-1.10/hdf5-1.10.4/src/hdf5-1.10.4.tar.gz
tar zxvf  hdf5-1.10.4.tar.gz
cd hdf5-1.10.4
./configure --prefix=/home/torobu/hdf5
make
sudo make install

エラーっぽいうものが出てなければ成功です。エラーっぽいものがでてたら、ぐぐってください。

ちゃんと出来てたら、bin include lib share のディレクトリが出来上がっているはずです。
小ネタですがmake -j 8 とかすると、makeの時間が短縮されますが、まれにmakeで失敗するようです

環境変数のLD_LIBRARY_PATHに作ったライブラリを登録するために、ホームディレクトリの隠しファイルである.bashrcを編集します。viの使い方がわからない場合は、何か他のを探してください。

vi ~/.bashrc

.bashrcファイルの一番下に、以下のような感じのものを書き加えます。LD_LIBRARY_PATHと=の間にスペースを入れないでください。=の後ろにスペースもだめです。:の前後にスペースを入れるのも危険です（たぶん）

export LD_LIBRARY_PATH=/home/torobu/hdf5/lib:$LD_LIBRARY_PATH

書き換えた.bashrcを有効にします。

source ~/.bashrc

##NetCDF
NetCDF(公式)をコンパイルします。手順はHDF5とほぼ同じです。
NetCDF-Fortranを使います。NetCDFだけだと何故か欲しいライブラリが作られないっぽいです（仮）

cd ~/
mkdir netcdf-fortran
wget https://www.unidata.ucar.edu/downloads/netcdf/ftp/netcdf-fortran-4.4.4.tar.gz
tar zxvf netcdf-fortran-4.4.4.tar.gz
cd netcdf-fortran-4.4.4
./configure --prefix=/home/torobu/netcdf-fortran
make
make check
sudo make install

make checkに時間がかかりますが、strongly recomended なので一応やっておきましょう。

最後に、.bashrcに書き加えます。

export LD_LIBRARY_PATH=/home/torobu/netcdf-fortran/lib:$LD_LIBRARY_PATH

##FFTW3
たぶん分散波とか計算するときにFFTが必要になるっぽいです（しらんけど
公式

cd ~/
mkdir fftw3
wget http://www.fftw.org/fftw-3.3.8.tar.gz
tar zxvf fftw-3.3.8.tar.gz
cd fftw-3.3.8
./configure --prefix=/home/torobu/fftw3
make
make check
sudo make install

最後に、.bashrcに書き加えます。

export LD_LIBRARY_PATH=/home/torobu/fftw3/lib:$LD_LIBRARY_PATH

##PROJ.4
座標系を計算してくれるそうです。日本列島を相手にする程度なら、直交座標系でもいけると思います。

cd ~/
mkdir proj4
wget http://download.osgeo.org/proj/proj-5.2.0.tar.gz
tar zxvf proj-5.2.0.tar.gz
cd proj-5.2.0
./configure --prefix=/home/torobu/proj4
make
make check
sudo make install

インストール先を.bashrcに書き加えてsource .bashrcで有効にします。

##openmpi
僕はopenmpiとmpichとmpiなどなどの役割も違いも全く理解していません。
経験上openmpiのver2系を使うとJagursが動いたので、それを使います。Ver1では何故か動きませんでした。Ver3については未確認です。

cd ~/
mkdir openmpi
wget https://download.open-mpi.org/release/open-mpi/v2.1/openmpi-2.1.5.tar.gz
tar zxvf openmpi-2.1.5.tar.gz
cd openmpi-2.1.5
./configure --prefix=/home/torobu/openmpi CC=gcc CFLAGS=-O2 FC=gfortran FFLAGS=-O2 CXX=gcc CXXFLAGS=-O2 FC=gfortran FCFLAGS=-O2 F77=gfortran FFLAGS=-O2
make
make chekc
sudo make install

openmpiについては、LD_LIBRARY_PATHだけでなくPATHも加えます。

export LD_LIBRARY_PATH=/home/torobu/openmpi/lib:$LD_LIBRARY_PATH
export PATH=/home/torobu/openmpi/bin:$PATH

最終的に以下のような感じになるはずです！（たぶんな！）

もしかしたら不要なライブラリがあるかもしれないし、もしかしたら他に入れた何かを使ってるかもしれないので謎です。

忘れずに source .bashrc してください。

#Jagursのコンパイル

##gitからJagursをclone
僕が唯一知っているgitの使い方です。

cd ~/
git clone https://github.com/jagurs-admin/jagurs.git

##ソースファイルの修正
このソースファイルはintel fortran compiler だと何故かコンパイルできるのに、gfortran だとコンパイルできない箇所があります。read文のformatの扱いに何か問題があるらしいです。
ですので修正します。

cd jagurs/src
vi mod_multi.f90

66～68行目らへんにある箇所を書き換えます。
Fortranは文頭にきっちりと空白を開ける必要があるので気をつけてください。
また、Fortranの入力フォーマットは*(アスタリスク)にすると、何か適当にいい感じでやってくれます。

mod_multi.f90

!変更前
         read(arg(1:j-1), '(i)', err=200) istart(num_paramset)
         read(arg(j+1:len_arg), '(i)', err=200) iend(num_paramset)
!変更後
         read(arg(1:j-1), fmt=*, err=200) istart(num_paramset)
         read(arg(j+1:len_arg), fmt=*, err=200) iend(num_paramset)

##Makefile編集
Makefileを編集します。デフォで入っている例はintel fortran compiler と MKL(Math kernel library)の使用を前提にしているので、gcc,gfortranでは通用しないオプション等が入っています。

cd ~/
cd jagurs/src
vi Makefile

# FC: Specify Fortran90 compiler command. コンパイラの選択
FC=mpif90
# Added for displacement.
# PRJ4_DIR: Specify PROJ.4 install directory. proj4のインストール先
PROJ4_DIR=/home/torobu/proj4
# CC&CFLAGS: Specify C compiler command and flags.  C/C++コンパイラ
CC=mpicc
CFLAGS=-g  -I$(PROJ4_DIR)/include

# BASE: Specify basic compiler options.　-cppにしたら動いた。
BASE=-cpp #-fpp -assume byterecl

# FFTW3_INCLUDE_DIR: Specify FFTW3 include directory. fftw3のインストール先
FFTW3_INCLUDE_DIR=/home/torobu/fftw3/include

# FFTW3_LIB: Specify linker options to link FFTW3.
FFTW3_LIB=-L/home/torobu/fftw3/lib -lfftw3 #-mkl=sequential

# OPT: Specify compiler options about optimization level. 
OPT=-O2 -fopenmp -I$(FFTW3_INCLUDE_DIR)  -march=native

# NETCDF: Specify the path to NetCDF library.
NETCDF=/home/torobu/netcdf-fortran

# LIBS: Specify linker options.
LIBS=-L$(NETCDF)/lib -lnetcdff -lnetcdf -L/home/torobu/hdf5/lib -lhdf5_hl -lhdf5 -lcurl -lsz -L$(PROJ4_DIR)/lib -lproj $(FFTW3_LIB) # for NetCDF4!

# EXEC: Specify the name of executable.
EXEC=jagurs

################################################################################
### Set parameters here!                                                     ###
################################################################################
# PREC=REAL_DBLE: All calc. (except file I/O) is performed with double precision.
#      DBLE_MATH: Only intrinsic math functions are performed with double precision.
# Else, all calc. is performed with single precision.
#PREC=DBLE_MATH
PREC=REAL_DBLE

# MPI=ON: MPI version is made.
# Else, serial version is made.  MPIをONにして実行してうまく言ったためしがない！
MPI=OFF #ON

#Makeする
編集し終わったらコンパイルします。

make 

この時に-jオプションをつけると失敗します(原因はよくわからないけれども少なくとも僕の時は失敗した）

問題なく作成できたら、jagurs (全て小文字) が作られているはずです。
今の環境で実行できるか確認しましょう。特にライブラリ関係を。
以下のコマンドを実行して、 not found がなければ動くはずです。

ldd jagurs

#Jagursの実行
実行の前にinputディレクトリの中にあるtsun.parを編集します

cd ~/
cd jagurs/input
vi tsun.par

!変更前
procx = 4
procy = 4
!変更後
!procx = 4
!procy = 4

の二行をコメントアウトします。fortran の namelist のコメントアウトには ! を使います。
消してもいいです。

いよいよ実行です。

cd ~/
cd jagurs/input
mpirun ../src/jagurs par=tsun.par

これでバーっと画面に何か流れ始めて、CPU使用率が１００％になれば成功です。

2分間の計算をするのに、245分（約４時間）かかりました。
これはやばい。まじでやばい。
設定等をまったく調整してませんが、僕の経験上、Xeon E5???の16コアを使った時、このサンプル例よりも多い格子数で、実時間×2くらいで終わってた気がします。やっぱりIntel compiler欲しいなぁ・・・

mpirun -n 1 ../src/jagurs par=tsun.par

-n 1 するだけで、14分で計算が終わりました。ですが、CPU使用率は100％でした。
"-n 1" を指定しないと、CPUは4コア(論理8コア）しかないのに、もしかしたら8*8=64の並列計算をしてたため効率が著しく悪くなった（かもしれません）

僕は プロセス と スレッド と ノード の違いが全くわかっておりません
理解する気も無いけどな！

#まとめ
WSL導入した
いろいろライブラリをコンパイルした
Jagursコンパイルした
Jagurs実行した
たぶん計算できてる。
並列計算の扱いは謎

計算結果の可視化だけで３つくらい記事書ける。

#感想

だれか僕に、良いNvidia製GPUがついてて、良いインテル製CPUが乗ってて煩くないデスクトップパソコンください。

おすすめのターミナルエミュレーターを教えてください。
マウススクロールが有効だったり、保存行数が多かったり、マウスの右クリックで貼り付けできたり、マウスで選択できるターミナルまじ希望