本ページは OCI: HPC Cluster のサブページになります。

実現したいこと

HPC ClusterのAutoscaling環境にてユーザーが投入できるジョブ数の制限設定を実現例について解説します。

例: 以下のパーティションに対して以下のユーザーが投入できるジョブ数を4ジョブまでに制限したい。ジョブの同時実行数は2ジョブとしたい。

パーティション: partition-a
ユーザー: user-a, user-b

設定内容を図解すると以下のようになります。

ユーザーが投入できるジョブ数についてはSLURMのQoSで実現します
ジョブの同時実行数についてはAutoscalingを構成している関係上、Autoscaling側で該当のパーティションで作成できるクラスタ数を制限して実現します

前提となる設定状況

LDAPユーザー

以下のLDAPユーザーに対してジョブの制限を設定します。

$ cluster user list
DN: cn=user-a,ou=People,dc=local - STATUS: Read - READ TIME: 2024-04-12T09:00:16.174386
    cn: user-a
    displayName: User A
    gecos: User A
    gidNumber: 10006
    homeDirectory: /home/user-a
    loginShell: /bin/bash
    sn: user-a
    uid: user-a
    uidNumber: 10001

DN: cn=user-b,ou=People,dc=local - STATUS: Read - READ TIME: 2024-04-12T09:00:16.174560
    cn: user-b
    displayName: User B
    gecos: User B
    gidNumber: 10006
    homeDirectory: /home/user-b
    loginShell: /bin/bash
    sn: user-b
    uid: user-b
    uidNumber: 10006

Autoscaling設定

    - name: partition-a
      default: false
      instance_types:
        - name: bm-cluster
          default: true
          shape: BM.Optimized3.36
          instance_keyword: optimized3
          permanent: false
          cluster_network: false
          compute_cluster: false
          max_number_nodes: 16
          max_cluster_size: 8
          max_cluster_count: 2
          region: ap-tokyo-1
          ad: xxxx:AP-TOKYO-1-AD-1
          private_subnet: 172.16.4.0/22
          private_subnet_id: ocid1.subnet...
          image: ocid1.image.oc1..
          targetCompartment: ocid1.compartment.oc1...
          boot_volume_size: 100
          use_marketplace_image: true
          use_compute_agent: true
          instance_pool_ocpus: 1
          instance_pool_memory: 8
          instance_pool_custom_memory: true
          marketplace_listing: HPC_OL8
          hyperthreading: true

設定手順

SLURMのアカウントを作成する

このアカウントというのはSLURMにおけるグループのような概念です。
ここではabc-groupという名前のアカウントを作成します。

$ sudo sacctmgr add account abc-group
 Adding Account(s)
  abc-group
 Settings
  Description     = Account Name
SlurmctldHost=eval-slurm-controller
  Organization    = Parent/Account Name
 Associations
  A = abc-group  C = cluster
Would you like to commit changes? (You have 30 seconds to decide)
(N/y): y

アカウントが作成されたことを確認します。

[opc@eval-slurm-controller ~]$ sacctmgr list account
   Account                Descr                  Org
---------- -------------------- --------------------
 abc-group            abc-group            abc-group
      root default root account                 root

アカウントにLDAPユーザーを割り当てる

LDAPユーザーであるuser-aとuser-bをabc-groupに割り当てます。

$ sudo sacctmgr add user user-a account=abc-group
 Adding User(s)
  user-a
 Associations =
  U = user-a    A = abc-group  C = cluster
 Non Default Settings
Would you like to commit changes? (You have 30 seconds to decide)
(N/y): y

$ sudo sacctmgr add user user-b account=abc-group
 Adding User(s)
  user-b
 Associations =
  U = user-b    A = abc-group  C = cluster
 Non Default Settings
Would you like to commit changes? (You have 30 seconds to decide)
(N/y): y

QoSの設定を有効にする

任意のエディタで管理者権限でslurm.confを開いて変種します。

sudo vi /etc/slum/slurm.conf

　
以下の記述を追加します。

AccountingStorageEnforce=limits

QoSを作成する

ここではsubmit-qosという名前のQoSの定義を作成します。

$ sudo sacctmgr add qos submit-qos
 Adding QOS(s)
  submit-qos
 Settings
  Description    = submit-qos
Would you like to commit changes? (You have 30 seconds to decide)
(N/y): y

QoSの定義にMaxSubmitJobsPerAccountを設定する

作成したQoSに対して、MaxSubmitJobsPerAccountパラメーターに=4の設定を追加します。
これにより、「ユーザーが投入できるジョブ数を4ジョブまでに制限」が実現されます。

MaxSubmitJobsPerAccount:
The maximum number of jobs an account (or sub-account) can have running and pending at a given time.

$ sudo sacctmgr modify qos submit-qos set MaxSubmitJobsPerAccount=4
 Modified qos...
  submit-qos
Would you like to commit changes? (You have 30 seconds to decide)
(N/y): y

　
設定されたことを確認します。

$ sacctmgr show qos format="Name,MaxSubmitJobsPerAccount"
      Name MaxSubmitPA
---------- -----------
    normal
limited_j+
submit-qos          4

QoSとパーティションを関連づける

設定したQoSとパーティションを紐づけます。

管理者権限でslurm.confを修正します。

sudo vi /etc/slurm/slurm.conf

　
対象のパーティションの行の文末にQOS=submit-qosを追加して保存します。

PartitionName=partition-a Nodes=<node>-[1-1024] Default=NO MaxTime=INFINITE State=UP QOS=submit-qos

slurmctldをrestartする

slurm.confの変更を適用させるためにslurmctldをretartさせる。

sudo systemctl restart slurmctld

設定が反映されていることを確認します。

$ scontrol show partition partition-a | grep QoS
   AllocNodes=ALL Default=NO QoS=submit-qos

動作確認

動作確認としてuser-aやuser-bで設定した制限以上のジョブを投入してみます。
上限に達すると以下のエラーにてジョブが投入できなくなることを確認します。

$ sbatch job.sh
sbatch: error: MaxSubmitJobsPerAccount
sbatch: error: Batch job submission failed: Job violates accounting/QOS policy (job submit limit, user's size and/or time limits)

注意点

本設定にあたりslurm.confを修正していますが、HPC-Clusterのqueues.confの変更を適用するslurm_config.shを実行すると記載した以下の内容が消えてしまうのでご注意ください。

AccountingStorageEnforce=limitsの記述
Partition= で始まる行の文末に設定したQOS=submit-qosの記述

HPC-Clusterの仕様上の問題がありますので、本設定は以下のの流れで実施をするように注意してください。

queues.confの編集
slurm_config.shの実行
本パーティション設定

参照資料

本手順の作成にあたり以下のURLを参考にさせていただきました。

https://qiita.com/Masataka_N/items/90db5e7bf79e1650f25d