はじめに

ご覧いただきありがとうございます。

ParallelClusterについて調査をする機会がありました。
備忘録として調査/検証内容をまとめようと思います。

概要

HPC環境の概観
AWS ParallelClusterのアーキテクチャ
AWS ParallelClusterを構築

今回の調査にあたり、下記の記事/AWS Black Belt Online Seminar/公式ドキュメントを参考にしました。
一週間でなれる！スパコンプログラマ
 AWS ParallelCluster ではじめるクラウドHPC
Amazon FSx for Lustre
AWS ParallelClusterバージョン3

1. HPC環境の概観

HPCのアーキテクチャ

HPC = ハイパフォーマンス・コンピューティングは、膨大な量の計算処理が必要なケースで、複雑な演算処理を高速に実行することを可能にします。

一般的な構成では「ログインノード」「計算ノード」「ファイルシステム」が高速ネットワークで繋がるアーキテクチャとなっている。

ユーザーは「ログインノード」にログインして、作業を実施します。
実際の計算は「計算ノード」を使います。

HPC環境を複数のユーザーが共有するため、「各ユーザーが投げたジョブ」を「どの計算ノードで実行するか」決定する仕組みが必要である。

ユーザーは、ログインノードからジョブスケジューラーにジョブの実行を依頼します。
ジョブスケジューラーは、どのノードでジョブを実行するかを決定します。

ファイルシステムは「メタデータ(どこにデータがあるか)」と「データそのもの」で構成される。
多くのクライアントからの問い合わせを高速にさばいてくれる、スケーラブルな並列ファイルシステムが必要となる。
上記の課題を解決するためによく使われているのが「Lastre」である。

以上がアーキテクチャの概要である。

HPC環境の課題

- サーバ台数が固定化することで、需要が増加する時期には処理に待ち時間が発生する(= スペックが足りない)
- どんな構成でも対応できるようなクラスタを作らざるをえない。結果として「メモリが多すぎる」などリソースの無駄が発生する(= 過剰スペック)
- サーバ台数が多くなることで管理が煩雑になる(= 管理コスト)

HPC環境をクラウドに移行することで、上記の問題をカバーする。

- 必要な時に必要なだけ利用可能(= スケーリング)
- アプリケーションに合わせた構成のクラスタを構築可能(= リソースの無駄を防ぐ)
- 管理の手間を抑える(= AWSマネージドで管理を任せる)

AWSにはHPC環境を実現するためのサービスがあり、クラウドならではの恩恵を受けられる。

2. AWS ParallelClusterのアーキテクチャ

ParallelCluster活用のメリット

HPC環境をAWSに移行するにあたり、いくつか課題がある。

- AWS上にAutoScalingするクラスタ環境を作成するのは難しい
- 他のAWSサービスとの連携をさせたい
- HPCの知識以外にAWSやインフラの知識も必要

ParallelClusterを利用することで、課題を解決する。

- 数コマンド操作でAutoScalingするクラスタ環境をセットアップ
- FSx Lustreなど、AWSの様々なサービスと連携
- 自分専用のクラスタ環境を作成可能

ParallelClusterは、数コマンドで、ジョブ投入に応じて自動でスケールするクラスタをAWS上に構築可能なAWS公式ソフトウェアです。

ParallelClustrerにより、Compute Nodeが0台から数百台規模まで需要に応じてスケーリングするクラスタ環境を作成できます。

共有ストレージ

「NFS on Master」がParallelClusterの構成におけるデフォルトです。
公式によると、「AWS ParallelClusterは、クラスターのマスターノードに接続され、ネットワークファイルシステム（NFS）を介してクラスターのコンピューティングノードにエクスポートされる15GBのElasticBlock Storage（EBS）の外部ボリュームを自動的に構成します」とあります。

一方で高速な分散ストレージサービスである「FSx for Lustre」を選択できます。
膨大なデータを多くの計算資源で高速に処理するワークロードでは、高速なデータアクセスが必要になります。計算環境をスケールさせてもデータアクセスが十分でなければ処理速度はスケールしません。

処理を行う大量のデータは、耐久性が高いS3に置くことが推奨されます。
S3のデータセットとFSx for Lustreファイルシステムを関連づけることで、実際に処理を行うときのみFSx for Lustreを使用することができます。

処理をおこなわないときはS3にデータをストック
処理が必要なときにFSx for Lustreを立ち上げる
ファイルをインポートする
各インスタンスを用いてデータを処理する
結果をS3にエクスポートする
処理が終了後、FSx for Lusterを削除

次のセクションでは、「AWS ParallelCluster」「FSx for Lustre」「S3」の構成で環境構築を行います。

3. AWS ParallelClusterを構築

事前準備

事前に下記のリソースを作成してください。

VPC
Public Subnet(Internet Gatewayへのルートあり)
Private Subnet(NAT Gatewayへのルートあり)
Internet Gateway
NAT Gateway
EC2 (Public Subnetに配置。Adminとして使用)
S3バケット
キーペア

構成

今回はPublic/Private Subnetに分割した構成になります。

それぞれのリソースについて補足します。

Admin(EC2)
クラスタ構築/管理ツールである「Parallel Cluster」を実行するサーバです。
ログインノード(EC2)
「Parallel Cluster」で構築されるクラスタのノードです。このサーバでジョブの実行をします。
計算ノード
「Parallel Cluster」で構築されるクラスタのCompute Node(計算ノード)です。需要に応じてオートスケールします。
FSx for Lustre
「Parallel Cluster」で構築されるクラスタのストレージです。
Amazon S3
解析前のデータのアップロード、解析後のデータをダウンロードするためのストレージです。

Admin用のEC2にSSHログイン/ParallelClusterのインストール

クラスタ構築/管理ツールである「Parallel Cluster」はAdminサーバで実行します。
「Parallel Cluster」を実行するためにAdminサーバへSSH接続します。

こちらを参考にしながら、インストール作業を行います。
この記事を書いている段階では、ParallelClusterバージョン3のドキュメントを参照しています。

$ python3 -m pip install "aws-parallelcluster" --upgrade --user
$ curl -o- https://raw.githubusercontent.com/nvm-
$sh/nvm/v0.38.0/install.sh | bash

$ chmod ug+x ~/.nvm/nvm.sh
$ source ~/.nvm/nvm.sh
$ nvm install --lts
$ node --version
$ pcluster version
{
  "version": "3.1.4"
}
python3 -m pip install "aws-parallelcluster" --upgrade --user

ParallelClusterの初期設定

公式を参考に初期設定を行います。

バージョン3ではyml形式になります。

AWSの認証情報をセットします。

$ aws configure
AWS Access Key ID [None]: xxxxxxxxxxxxxxxx
AWS Secret Access Key [None]: xxxxxxxxxxxxxxxxxx
Default region name [us-east-1]: ap-northeast-1
Default output format [None]:

$ pcluster configure --config cluster-config.yaml
----------------------------------------------
#リージョン
Allowed values for AWS Region ID: ap-northeast-1
#キーペア
Allowed values for EC2 Key Pair Name: xxxxxxxxxxxxxxxxxxxxxxxx
# スケジューラー
Allowed values for Scheduler:slurm
# OS
Allowed values for Operating System: alinux2

# インスタンスタイプとインスタンス数設定
Head node instance type [t2.micro]: 
Number of queues [1]: 
Name of queue 1 [queue1]: 
Number of compute resources for queue1 [1]: 
Compute instance type for compute resource 1 in queue1 [t2.micro]: 
Maximum instance count [10]: 

# VPCを作成するか。ここでは既存のVPCを使用
Automate VPC creation? (y/n) [n]: n
Allowed values for VPC ID:
VPC ID [vpc-xxxxxxxx]: vpc-xxxxxxxxx

# サブネットを作成するか。ここでは既存のサブネットを使用
# head/Computeごとにサブネットを指定
Automate Subnet creation? (y/n) [y]: n
Allowed values for head node Subnet ID:
head node Subnet ID [subnet-xxxxxxx]: subnet-xxxxxxxxx
Allowed values for Compute Subnet ID:
compute subnet ID [subnet-xxxxxxxx]: subnet-xxxxxxxxx

----------------------------------------------

上記のように対話形式で、必要な値を入力します。
入力が完了すると、yamlファイルが作成されます。

$ ls
cluster-config.yaml

$ cat cluster-config.yaml

Region: ap-northeast-1
Image:
  Os: alinux2
HeadNode:
  InstanceType: t2.micro
  Networking:
    SubnetId: xxxxxxxxxxxxxxxxxxxxxx
  Ssh:
    KeyName: xxxxxxxxxxxxxxx
Scheduling:
  Scheduler: slurm
  SlurmQueues:
  - Name: queue1
    ComputeResources:
    - Name: t2micro
      InstanceType: t2.micro
      MinCount: 0
      MaxCount: 10
    Networking:
      SubnetIds:
      - xxxxxxxxxxxxxxxxxx

設定変更(FSx for Lustreの設定)

yamlファイルに編集を加えます。
こちらを参考にしながら、共有ストレージの設定を追加します。

Region: ap-northeast-1
Image:
  Os: alinux2
HeadNode:
  InstanceType: t2.micro
  Networking:
    SubnetId: subnet-xxxxxxxxxxxxxxxxx
  Ssh:
    KeyName: xxxxxxxxxxxxxx
Scheduling:
  Scheduler: slurm
  SlurmQueues:
  - Name: queue1
    ComputeResources:
    - Name: t2micro
      InstanceType: t2.micro
      MinCount: 0
      MaxCount: 10
    Networking:
      SubnetIds:
      - subnet-xxxxxxxxxxxxxxxxxxxxx
      
SharedStorage:
  - MountDir: /lustre
    Name: fsx
    StorageType: FsxLustre
    FsxLustreSettings:
      StorageCapacity: 1200
      ImportPath: s3://xxxxxxxxxxxxxxxxxx

「import_path」はS3BucketNameを指定します。

クラスタの作成と各種CLIコマンド

-h オプションを用いると、pclusterコマンドの一覧が確認できます。

 list-clusters       Retrieve the list of existing clusters.
    create-cluster      Create a managed cluster in a given region.
    delete-cluster      Initiate the deletion of a cluster.
    describe-cluster    Get detailed information about an existing cluster.
    
    delete-cluster-instances
                        Initiate the forced termination of all cluster compute
                        nodes. Does not work with AWS Batch clusters.
    describe-cluster-instances
                        Describe the instances belonging to a given cluster.
    ssh                 Connects to the head node instance using SSH.
    version             Displays the version of AWS ParallelCluster.

各コマンドの詳細もhelpを使用して確認できます。

$ pcluster create-cluster --help
usage: pcluster create-cluster [-h] [-r REGION]
                               [--suppress-validators SUPPRESS_VALIDATORS [SUPPRESS_VALIDATORS ...]]
                               [--validation-failure-level {INFO,WARNING,ERROR}]
                               [--dryrun DRYRUN]
                               [--rollback-on-failure ROLLBACK_ON_FAILURE] -n
                               CLUSTER_NAME -c CLUSTER_CONFIGURATION [--debug]
                               [--query QUERY]

Create a managed cluster in a given region.

・・・(略)

ではクラスタを作成します。

$ pcluster create-cluster -n test-cluster -c cluster-config.yam
l
{
  "configurationValidationErrors": [
    {
      "level": "ERROR",
      "type": "SubnetsValidator",
      "message": "DNS Hostnames not enabled in the VPC vpc-xxxxxxxxxxxxxx."
    }
  ],
  "message": "Invalid cluster configuration."

エラーが発生しました。

ドキュメントによると、"VPC には DNS Resolution = yes と DNS Hostnames = yesが必要です。"とあります。
VPCのホスト名を有効化して、再度コマンドを実行します。

$ pcluster create-cluster -n test-cluster -c cluster-config.yaml
{
  "cluster": {
    "clusterName": "test-cluster",
    "cloudformationStackStatus": "CREATE_IN_PROGRESS",
    "cloudformationStackArn": "arn:aws:cloudformation:ap-northeast-1:xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx",
    "region": "ap-northeast-1",
    "version": "3.1.4",
    "clusterStatus": "CREATE_IN_PROGRESS"
  }
}

クラスタ作成が始まりました。
CloudFormationのページに移行すると、作成中であることが分かります。

pcluster describe-cluster --cluster-name test-cluster

上記コマンドを入力して、ステータスが"Complete"になったら、作成されたリソースを確認します。

## クラスタ⼀覧確認
 $ pcluster list-clusters
{
  "clusters": [
    {
      "clusterName": "test-cluster",
      "cloudformationStackStatus": "CREATE_COMPLETE",
      "cloudformationStackArn": "arn:aws:cloudformation:ap-northeast-1:xxxxxxxxxxxxxxxxxxxxxxxxxxx",
      "region": "ap-northeast-1",
      "version": "3.1.4",
      "clusterStatus": "CREATE_COMPLETE"
    }
  ]
}

存在しているクラスタのリストを確認できます。

ログインノードの確認

$ pcluster describe-cluster-instances -n test-cluster
{
  "instances": [
    {
      "launchTime": "2022-07-05T04:35:18.000Z",
      "instanceId": "i-xxxxxxxxxxxxxxxx",
      "publicIpAddress": "xxxxxxxxxxxxxxx",
      "instanceType": "t2.micro",
      "state": "running",
      "nodeType": "HeadNode",
      "privateIpAddress": "xxxxxxxxxxxxx"
    }
  ]
}

EC2(ログインノード)

FSx for Lustre

スタック作成時にエラーが発生する場合

なお私が検証した際は、CloudFormationでスタック作成時に「HeadNodeWaitCondition」がFailになり、リソース作成が失敗しました。
VPCのパブリックサブネットの「パブリック IPv4 アドレスを自動割り当て」が"いいえ"になっていました。
上記を"はい"に変更後、再度スタック作成を実施したところ、無事クラスタ作成が完了しました。

ネットワーク設定についてはドキュメントの「2つのサブネットを使用するAWS ParallelCluster」を参照ください。

ログインノードへのアクセス

「AdminサーバへのSSH接続」を参考にログインノードへのSSH接続設定を行い、Head NodeへSSHアクセスを行います。
ログインノードのIPアドレスは、AWSマネジメントコンソールのEC2インスタンスのページで確認できます。

ジョブの投入

ログインノードにログインしての作業になります。
こちらを参考に、ジョブの投入を実行します。

$ sinfo
PARTITION AVAIL  TIMELIMIT  NODES  STATE NODELIST
queue1*      up   infinite     10  idle~ queue1-dy-t2micro-[1-10]

コンピュートノードが設定されていることを確認します。

次にジョブを作成します。

$ vi hellojob.sh
$ cat hellojob.sh
#!/bin/bash
sleep 30
echo "Hello World from $(hostname)"

sbatch を使用してジョブを送信し、実行されることを確認します。

$ sbatch hellojob.sh
Submitted batch job 1
$ squeue
             JOBID PARTITION     NAME     USER ST       TIME  NODES NODELIST(REASON)
                 1    queue1 hellojob ec2-user CF       0:19      1 queue1-dy-t2micro-1

AWSマネジメントコンソールのEC2インスタンスのページを確認すると、Computeノードが立ち上がっていることが確認できます。

少し時間を空けて、再度コマンドを実行します。
キューにジョブがないことが確認できます。

$ squeue
             JOBID PARTITION     NAME     USER ST       TIME  NODES NODELIST(REASON)

出力内容を確認します。

$ ls -l
total 8
-rw-rw-r-- 1 ec2-user ec2-user 57 Jul  5 05:54 hellojob.sh
-rw-rw-r-- 1 ec2-user ec2-user 37 Jul  5 06:00 slurm-1.out

$ cat slurm-1.out
Hello World from queue1-dy-t2micro-1

ジョブ投入の結果が確認できました。

リソースの削除

ログインノードからログアウトして、Adminサーバに移動。
「pcluster delete-cluster」コマンドを実行します。

$ pcluster delete-cluster --cluster-name test-cluster
{
  "cluster": {
    "clusterName": "test-cluster",
    "cloudformationStackStatus": "DELETE_IN_PROGRESS",
    "cloudformationStackArn": "arn:aws:cloudformation:ap-northeast-1:xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx",
    "region": "ap-northeast-1",
    "version": "3.1.4",
    "clusterStatus": "DELETE_IN_PROGRESS"
  }
}

CloudFormationのページを確認すると、スタック削除が実行されていることが分かります。
※AdminサーバやS3は手動作成したため、自動削除の対象にならないことをご注意ください。

さいごに

はじめてのHPCサービス体験だったため、手探りではありましたが簡単な調査と検証を実施しました。
御覧いただきありがとうございました！！

AWS ParallelClusterを触ってみる