今回は、LIQID社が公開している導入事例『Durham University’s Institute for Computational Cosmology Accelerates Results with Composability from Liqid』を題材に取り上げます。本事例では、英国トップクラスの宇宙論研究機関が、CDIを活用し、スーパーコンピューター「COSMA8」上での宇宙シミュレーションをどのように強力に推進したのかが書かれています。この記事では、要約翻訳と、そこで活用されているコンポーザブル・ディスアグリゲーテッド・インフラストラクチャ(CDI)の仕組みについての解説をお届けします。この事例ではCDIの構成製品はPCIe Gen4世代で構成されていますが、最新のPCIe Gen5製品でも同様な事が言え、CDIのコンセプトが分かり易い事例となっています。
事例概要
- 組織名: ダラム大学 計算宇宙論研究所(ICC: Institute for Computational Cosmology) / DiRAC
- テーマ: 超大型宇宙シミュレーション基盤におけるコンポーザブル・ディスアグリゲーテッド・インフラストラクチャ(CDI)の活用
- 主要ソリューション: Liqid Matrix™ ソフトウェア、Liqid PCIe Gen4 拡張シャーシ、Liqid PCIe Switch、NVIDIA A100 GPU、Dell PowerEdge R7525 サーバー
- 原文: Durham University & Liqid Case Study (PDF)
「GPUをコンポーズ(動的割り当て)可能にしたことで、空き状態(アイドル)のGPUがなくなり、利用効率が大きく向上しました。GPU需要が高まった際も、非常に柔軟な構成でアクセラレーションを拡張できるインフラが整っています。」
— Alastair Basden 氏(ダラム大学 DiRAC メモリインテンシブ・サービス テクニカルマネージャー)
ダラム大学 計算宇宙論研究所(ICC)について
ダラム大学の計算宇宙論研究所(ICC)が運用するスーパーコンピューター「COSmology Machine(COSMA)」は、英国の全国規模のスパコン施設である「DiRAC(Distributed Research utilising Advanced Computing)」を構成する拠点の1つです。
DiRACは、英国の研究者コミュニティにHPC(ハイパフォーマンス・コンピューティング)サービスを提供するために設立された分散型計算基盤であり、ダラム、ケンブリッジ、エディンバラ、レスターの4つの主要大学にワークロード別の拠点を置いています。
その中でダラム大学がホストするサイトは、ビッグバンから始まる約140億年の歴史を追跡するような、最も規模の大きい宇宙論シミュレーションを処理するために設計されたメモリ集約型サイトです。第8世代となる「COSMA8」は、将来のエクサスケール・システムを見据えた革新的ハードウェア探求プログラム「ExCALIBUR」からの資金援助を受けて運用されています。
課題:ワークロードの断続的変化とリソース効率
大規模なシミュレーションを通じて、COSMA8は「人類はどこから来たのか」「宇宙における人類の立ち位置とは何か」といった、人類の最も根本的な問いの解明に挑む研究者に使用されています。
COSMA8上で実行されるダークマター、暗黒エネルギー、ブラックホール、銀河などの宇宙構造を対象とするシミュレーションは、1回の実行に数ヶ月を要することが少なくありません。さらにそのシミュレーションの完了後には、研究者が結果のデータを解析する長期間のフェーズに入ります。
このように、計算リソースの需要は断続的に大きく変動します。
シミュレーション実行期とデータ解析期では、研究者が必要とする計算リソースの需要が大きく変わるため、求められるリソースが異なります。そのため、いかにシステム全体の処理効率とリソース利用率を極限まで高めるかが大きな課題となっていました。
ソリューション:Liqid CDIによるGPUのオンデマンド割り当て
COSMA8で実行されるシミュレーションはどれも大容量メモリを要求しますが、一部のワークロードではさらにGPUによるアクセラレーションを必要とします。GPUはインフラの中でも最も高価なリソースの1つであるため、稼働率(利用率)を極限まで高めることが不可欠でした。
DiRACのテクニカルマネージャーである Alastair Basden 氏は、LiqidのCDIを用いてGPUをサーバー群へ動的に組み込む(コンポーズする)構成を採用しました。これにより、研究者は必要な時に必要な分だけGPUを要求・確保できるようになりました。
これにより、すべてのノードにGPUを固定配置するのではなく、一部のノード間において必要な時に・必要な分だけ(1枚〜複数枚)ソフトウェア操作ひとつでGPUを切り替えて割り当てる環境を実現しました。
「当校のシミュレーションの大部分はGPUを使用しません。そのため、すべてのノードにGPUをあらかじめ常設しておくのは非常に不経済です。
そこで、一部のファット・コンピュートノードとログインノードを用意し、それらのシステム間でGPUを自由に移動できるようにしました。ボタン操作で容易に必要なサーバーにGPUを個別に割り当てられます。」
— Alastair Basden 氏
LIQID構成アーキテクチャ解説
本事例で採用されているLiqid CDIの基本トポロジーおよび接続構成の解説です。
LiqidのCDIの基本トポロジーを構成する、LIQID製品は以下となります。
構成要素
- LIQID Director: Liqid Matrixソフトウェアが動作する管理用ノード
- LIQID PCIeスイッチ: PCIe拡張シャーシとホストサーバー間のPCIe接続
- LIQID PCIe拡張シャーシ: GPUなどのPCIeデバイスを集約する筐体
- LIQID HBA(Host Bus Adapter): 各ホストサーバーに1枚装着し、PCIeスイッチまたは拡張シャーシへPCIe接続
接続のポイント
-
拡張シャーシとPCIeスイッチの接続:
事例で使われている「8slot拡張シャーシ」は、内部的に4slot×2の構造になっています。そのため、各4slotブロックごとに1本ずつ(計2本)、PCIe Gen4 x16でPCIeスイッチに接続されます。 -
ホストサーバーへの接続:
PCIeスイッチから各ホストサーバーへ、Gen4 x16でサーバーに実装されたHBAに接続されます。
上記の1と2の接続構成により、CDIの管理ノードである LIQID Matrixが実装されているLIQID Directorから、どのサーバーに、拡張シャーシ内のどのGPUをコンポーズするかがオンデマンドで行えますので、必要な時だけ必要なサーバーにGPUを割り当てることが可能となります。
💡 補足:10slot拡張シャーシの場合
8slot製品の後にリリースされた「10slot拡張シャーシ」では、筐体内部にPCIeスイッチLSIが内蔵されています。そのため、ホストサーバーが4台までであれば外部PCIeスイッチを必要とせず、直接シャーシに接続して任意のポートからPCIeスロットへ動的割り当てが可能です。
導入効果・成果
ダラム大学はCDIを導入したことで、以下の成果を上げています。
-
リソース利用率の最大化
GPUが必要とされるサーバーへ動的に割り当てる事により、GPUの空き状態(アイドリング)を排除し、最小限のGPU枚数で投資対効果を最大化。 -
AI/ML需要への即応性
AI分野の研究者増加に伴う将来的なGPU要求の急増に対しても、柔軟に拡張・再割り当てができる基盤を確立。 -
カーボンフットプリント(環境負荷)の削減
GPUをサーバーから取り外し、拡張シャーシに集約する事で、サーバーがGPUを使用しない時の不要なGPUの常時通電を無くすことで、データセンター全体の消費電力およびCO2排出量を大幅に削減。
関連組織・技術概要
-
Liqid Inc.
CDI(Composable Disaggregated Infrastructure)のリーディングカンパニー。独自ソフトウェア「Liqid Matrix™」により、ベアメタルサーバーの構成・再割り当てをソフトウェア制御で即座に実行可能にする。 -
DiRAC (Distributed Research utilising Advanced Computing)
英国STFC(科学技術施設研究会議)が支援する、素粒子物理学・天文学・宇宙論のための超高性能分散コンピューティング基盤。 -
ExCALIBUR H&ES
英国の国家戦略投資プログラム(4,570万ポンド)。次世代のエクサスケール・コンピューティングを見据えたソフトウェア・アルゴリズムおよび新世代ハードウェアの検証を実施。
