やりたいこと

Slurmにおいて、下記のように1nodeに複数のジョブを詰め込むPartitionと1nodeに複数のジョブを詰め込みできないPartitionを共存させたい。

この例だと、以下のようになっている。

PARTITION名; cpu_queueのは1ノードに複数のジョブを詰め込み可能
- 以下の例ではcompute01に2ジョブ投入されていることがわかる。
PARTITION名; gpu_queueのは1ノードに複数のジョブを詰め込み不可
- 以下の例では必ずジョブがノードを専有している。

command

$ squeue
 JOBID PARTITION     NAME     USER ST       TIME  NODES NODELIST(REASON) 
  1946 cpu_queue    test1 xdu-0590  R       0:03      1    compute01 
  1947 cpu_queue    test2 xdu-0590  R       0:00      1    compute01 
  1949 gpu_queue    test3 xdu-0590  R       0:00      1        gpu01 
  1950 gpu_queue    test4 xdu-0590  R       0:00      1        gpu02
  1951 gpu_queue    test5 xdu-0590  R       0:00      1        gpu03

実現方法

slurm.confに下記を追記する。

SelectTypeとSelectTypeParametersの指定

command

SelectType=select/cons_tres
SelectTypeParameters=CR_CORE

PartitionNameにてOverSubscribeの設定

command

PartitionName=gpu_queue Nodes=gpu[01-08] Default=Yes MaxTime=INFINITE State=UP OverSubscribe=Exclusive 
PartitionName=cpu_queue Nodes=cpu[01-16] Default=Yes MaxTime=INFINITE State=UP OverSubscribe=YES

変更したslurm.confの適用方法

変更した、slurm.confはかならずすべてのノードで更新し、slurmctldとslurmdをstop/startしてください(restartでなくてstop/start)。
pdshがインストールされていることを前提としています。
以下の例では、slurmctldを起動しているホストにおいても、debugキュー(Partition) としてslurmdを起動していることを前提としています。実際の対象ノードは環境に応じて変更してください。

変数の定義

command

# 変更させたいslurm.confの雛形。すべてのノードからアクセス可能なこと
SHARED_CONF="/scratch/slurm.conf.tmp"
# 反映先(実際のslurm.conf)
SLURM_CONF="/etc/slurm/slurm.conf"
# pdshで実行するノード
NODE="lssr630-cs[01-08],dellc6525-cs[01-04],lssr630-hs04"

slurm.confの更新

command

# slurm.confのバックアップ
sudo pdsh -w ${NODE} "cp ${SLURM_CONF} ${SLURM_CONF}.bak$(date +'%Y%m%d%H%M%S')"
# 編集済みslurm.confのコピー
sudo pdsh -w ${NODE} "cp ${SHARED_CONF} ${SLURM_CONF}"
# 変更確認
sudo pdsh -w ${NODE} "cat -n ${SLURM_CONF} | grep -Ev '^\#' | grep -e SelectType -e OverSubscribe"

slurmctld, slurmdの再起動

slurmctldだけでなく、slurmdの更新も忘れないこと

command

# slurmctldとslurmdの停止
sudo systemctl stop slurmctld
sudo pdsh -w ${NODE} "systemctl stop slurmd"
# slurmctldとslurmdの起動
sudo systemctl start slurmctld
sudo pdsh -w ${NODE} "systemctl start slurmd"