本ページは OCI: HPC Cluster のサブページになります。
概要
本ページではHPC Cluster上でSTAR-CCM+を実行する際の情報について記載します。
なお、本ページの内容は著者の経験から得られた情報を記載しております。内容についてSiemens社に確認をしたものではないので、その点ご了承のもとご利用ください。
OCIで実行する上での考慮点
MPIオプションの指定
複数のBMインスタンスでノード間通信にRDMAを利用する場合、MPIのオプション指定が必要になります。
starccm+のオプションに以下を指定してください。
■ BM.Optimized3.36
- IntelMPI
STAR-CCM+に同梱されているIntel MPIのverによりオプションが変わりますのでご注意ください。
Intel MPI 2019以降:
-mpi intel -mpiflags "-iface ens800f0 -genv I_MPI_FABRICS=shm:ofi -genv I_MPI_DEBUG=5"
Intel MPI 2018以前:
-mpi intel -mpiflags "-iface ens800f0 -genv I_MPI_FABRICS=shm:dapl -genv DAT_OVERRIDE=/etc/dat.conf -genv I_MPI_DAT_LIBRARY=/usr/lib64/libdat2.so -genv I_MPI_DAPL_PROVIDER=ofa-v2-cma-roe-ens800f0 -genv I_MPI_FALLBACK=0 -genv I_MPI_DEBUG=5"
- OpenMPI
OpenMPI v4:
-mpi openmpi -mpiflags "--display-devel-map --bind-to core --rank-by core --map-by core -mca btl ^openib --mca coll_hcoll_enable 0 -mca mca_base_env_list UCX_NET_DEVICES=mlx5_2:1;UCX_IB_TRAFFIC_CLASS=105;UCX_IB_GID_INDEX=3;HCOLL_ENABLE_MCAST_ALL=0;UCX_TLS=rc,self,sm"
- Platform MPI
-mpi platform -mppflags "-intra=shm -e MPI_HASIC_UDAPL=ofa-v2-cma-roe-ens800f0 -UDAPL -aff=automatic:bandwidth:core -affopt=v -prot"