1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

【事例要訳】ダラム大学計算宇宙論研究所、LIQIDのCDIで研究成果を加速

1
Posted at

今回は、LIQID社が公開している導入事例『Durham University’s Institute for Computational Cosmology Accelerates Results with Composability from Liqid』を題材に取り上げます。本事例では、英国トップクラスの宇宙論研究機関が、CDIを活用し、スーパーコンピューター「COSMA8」上での宇宙シミュレーションをどのように強力に推進したのかが書かれています。この記事では、要約翻訳と、そこで活用されているコンポーザブル・ディスアグリゲーテッド・インフラストラクチャCDI)の仕組みについての解説をお届けします。この事例ではCDIの構成製品はPCIe Gen4世代で構成されていますが、最新のPCIe Gen5製品でも同様な事が言え、CDIのコンセプトが分かり易い事例となっています。


事例概要

  • 組織名: ダラム大学 計算宇宙論研究所(ICC: Institute for Computational Cosmology) / DiRAC
  • テーマ: 超大型宇宙シミュレーション基盤におけるコンポーザブル・ディスアグリゲーテッド・インフラストラクチャ(CDI)の活用
  • 主要ソリューション: Liqid Matrix™ ソフトウェア、Liqid PCIe Gen4 拡張シャーシ、Liqid PCIe Switch、NVIDIA A100 GPU、Dell PowerEdge R7525 サーバー
  • 原文: Durham University & Liqid Case Study (PDF)

「GPUをコンポーズ(動的割り当て)可能にしたことで、空き状態(アイドル)のGPUがなくなり、利用効率が大きく向上しました。GPU需要が高まった際も、非常に柔軟な構成でアクセラレーションを拡張できるインフラが整っています。」
— Alastair Basden 氏(ダラム大学 DiRAC メモリインテンシブ・サービス テクニカルマネージャー)


ダラム大学 計算宇宙論研究所(ICC)について

ダラム大学の計算宇宙論研究所(ICC)が運用するスーパーコンピューター「COSmology Machine(COSMA)」は、英国の全国規模のスパコン施設である「DiRAC(Distributed Research utilising Advanced Computing)」を構成する拠点の1つです。

DiRACは、英国の研究者コミュニティにHPC(ハイパフォーマンス・コンピューティング)サービスを提供するために設立された分散型計算基盤であり、ダラム、ケンブリッジ、エディンバラ、レスターの4つの主要大学にワークロード別の拠点を置いています。

その中でダラム大学がホストするサイトは、ビッグバンから始まる約140億年の歴史を追跡するような、最も規模の大きい宇宙論シミュレーションを処理するために設計されたメモリ集約型サイトです。第8世代となる「COSMA8」は、将来のエクサスケール・システムを見据えた革新的ハードウェア探求プログラム「ExCALIBUR」からの資金援助を受けて運用されています。


課題:ワークロードの断続的変化とリソース効率

大規模なシミュレーションを通じて、COSMA8は「人類はどこから来たのか」「宇宙における人類の立ち位置とは何か」といった、人類の最も根本的な問いの解明に挑む研究者に使用されています。

COSMA8上で実行されるダークマター、暗黒エネルギー、ブラックホール、銀河などの宇宙構造を対象とするシミュレーションは、1回の実行に数ヶ月を要することが少なくありません。さらにそのシミュレーションの完了後には、研究者が結果のデータを解析する長期間のフェーズに入ります。

このように、計算リソースの需要は断続的に大きく変動します。

シミュレーション実行期とデータ解析期では、研究者が必要とする計算リソースの需要が大きく変わるため、求められるリソースが異なります。そのため、いかにシステム全体の処理効率とリソース利用率を極限まで高めるかが大きな課題となっていました。


ソリューション:Liqid CDIによるGPUのオンデマンド割り当て

COSMA8で実行されるシミュレーションはどれも大容量メモリを要求しますが、一部のワークロードではさらにGPUによるアクセラレーションを必要とします。GPUはインフラの中でも最も高価なリソースの1つであるため、稼働率(利用率)を極限まで高めることが不可欠でした。

DiRACのテクニカルマネージャーである Alastair Basden 氏は、LiqidのCDIを用いてGPUをサーバー群へ動的に組み込む(コンポーズする)構成を採用しました。これにより、研究者は必要な時に必要な分だけGPUを要求・確保できるようになりました。

これにより、すべてのノードにGPUを固定配置するのではなく、一部のノード間において必要な時に・必要な分だけ(1枚〜複数枚)ソフトウェア操作ひとつでGPUを切り替えて割り当てる環境を実現しました。

「当校のシミュレーションの大部分はGPUを使用しません。そのため、すべてのノードにGPUをあらかじめ常設しておくのは非常に不経済です。
そこで、一部のファット・コンピュートノードとログインノードを用意し、それらのシステム間でGPUを自由に移動できるようにしました。ボタン操作で容易に必要なサーバーにGPUを個別に割り当てられます。」
— Alastair Basden 氏


LIQID構成アーキテクチャ解説

image.png

本事例で採用されているLiqid CDIの基本トポロジーおよび接続構成の解説です。

LiqidのCDIの基本トポロジーを構成する、LIQID製品は以下となります。

構成要素

  • LIQID Director: Liqid Matrixソフトウェアが動作する管理用ノード
  • LIQID PCIeスイッチ: PCIe拡張シャーシとホストサーバー間のPCIe接続
  • LIQID PCIe拡張シャーシ: GPUなどのPCIeデバイスを集約する筐体
  • LIQID HBA(Host Bus Adapter): 各ホストサーバーに1枚装着し、PCIeスイッチまたは拡張シャーシへPCIe接続

接続のポイント

  1. 拡張シャーシとPCIeスイッチの接続:
    事例で使われている「8slot拡張シャーシ」は、内部的に4slot×2の構造になっています。そのため、各4slotブロックごとに1本ずつ(計2本)、PCIe Gen4 x16でPCIeスイッチに接続されます。
  2. ホストサーバーへの接続:
    PCIeスイッチから各ホストサーバーへ、Gen4 x16でサーバーに実装されたHBAに接続されます。
    上記の1と2の接続構成により、CDIの管理ノードである LIQID Matrixが実装されているLIQID Directorから、どのサーバーに、拡張シャーシ内のどのGPUをコンポーズするかがオンデマンドで行えますので、必要な時だけ必要なサーバーにGPUを割り当てることが可能となります。

💡 補足:10slot拡張シャーシの場合
8slot製品の後にリリースされた「10slot拡張シャーシ」では、筐体内部にPCIeスイッチLSIが内蔵されています。そのため、ホストサーバーが4台までであれば外部PCIeスイッチを必要とせず、直接シャーシに接続して任意のポートからPCIeスロットへ動的割り当てが可能です。


導入効果・成果

ダラム大学はCDIを導入したことで、以下の成果を上げています。

  • リソース利用率の最大化
    GPUが必要とされるサーバーへ動的に割り当てる事により、GPUの空き状態(アイドリング)を排除し、最小限のGPU枚数で投資対効果を最大化。
  • AI/ML需要への即応性
    AI分野の研究者増加に伴う将来的なGPU要求の急増に対しても、柔軟に拡張・再割り当てができる基盤を確立。
  • カーボンフットプリント(環境負荷)の削減
    GPUをサーバーから取り外し、拡張シャーシに集約する事で、サーバーがGPUを使用しない時の不要なGPUの常時通電を無くすことで、データセンター全体の消費電力およびCO2排出量を大幅に削減。

関連組織・技術概要

  • Liqid Inc.
    CDI(Composable Disaggregated Infrastructure)のリーディングカンパニー。独自ソフトウェア「Liqid Matrix™」により、ベアメタルサーバーの構成・再割り当てをソフトウェア制御で即座に実行可能にする。
  • DiRAC (Distributed Research utilising Advanced Computing)
    英国STFC(科学技術施設研究会議)が支援する、素粒子物理学・天文学・宇宙論のための超高性能分散コンピューティング基盤。
  • ExCALIBUR H&ES
    英国の国家戦略投資プログラム(4,570万ポンド)。次世代のエクサスケール・コンピューティングを見据えたソフトウェア・アルゴリズムおよび新世代ハードウェアの検証を実施。
1
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?