【AWS ParallelCluster】
HPC クラスタを自動構築・管理するためのオープンソースツール
🎯 できること
・計算ノードを自動でスケール(増減)
・Slurm などのスケジューラを自動セットアップ
・EFA や FSx for Lustre など HPC 向け機能を簡単に有効化
・HPC 用 AMI の自動ビルド
プレイスメントグループなどのネットワーク最適化
🧩 典型構成
・コンポーネント 役割
・Head Node ジョブ投入、Slurm 管理
・Compute Node 実際の計算を行う EC2
・Shared Storage FSx for Lustre / EFS
・Networking EFA / Placement Group
【Elastic Fabric Adapter (EFA) 】
EC2 インスタンス間の超低レイテンシ通信を実現する高速ネットワークインターフェース
↳「AWS 上で MPI を高速に動かすための RDMA ネットワーク」
🔥 特徴
・超低レイテンシ(RDMA による OS バイパス)
・高スループット(数十〜100Gbps クラス)
・MPI(OpenMPI / Intel MPI)対応
・HPC 専用インスタンスで最大性能
🧪 どんなワークロードで効く?
・CFD(流体解析)
・FEM(構造解析)
・量子化学
・天体物理シミュレーション
・大規模分散学習(Deep Learning)
【AWS ParallelClusterとElastic Fabric Adapter (EFA) の組合せ】
・HPC クラスタ構築が自動化される
・MPI アプリがクラウドでも高速に動く
・数百〜数千ノードのスケールが可能
・FSx for Lustre と組み合わせると I/O も高速化
クラウドで本格的な HPC をやりたいなら、ParallelCluster + EFA は必須の組合せ