HPC依存の悪循環
第一段階
かつて、前職にいたとき、「○○依存の悪循環」というコラ画像が投稿されていた時期に悪ノリで作成したものです。正確な日程を覚えておりませんが、2014年の1月くらいに作成したはずです。
1: 「大規模計算もできるようになるよ」と、HPC業界の悪い人(Tとしておきます)が、計算を必要な善良な人(A先生としておきましょう)にHPC導入をそそのかします。
2: A先生も最初は研究に使える予算も少ないため、1ノード(おそらくタワー型ワークステーションか、2Uサーバー)からの導入を検討してしまいます。
3: A先生の研究が進み、卒論や修論の発表間近になり、所属している学生さんが計算機をよく使うようになります。そこで計算量が足りなくなります。
4: 大規模計算を検討しているはずのA先生は、この研究室の有様を見てノード数不足を訴えます。学会発表のために自分の計算もしたいのにできない！イライラしながら「早く計算したい！」「苦しい」とA先生は訴えます。
5: Tによるそそのかしを思い出したか、A先生が申請していた科研費が使えるようになり、Tの所属する会社から計算ノードを購入し、増設していきます。耐性ができて次第に計算ノードが増え、やがてはクラスターとなりノード間並列処理もできるようになって一時的にA先生の欲求は満たされます。
6: でも、A先生の研究室で研究成果が出るようになり、いくら増設しても計算機資源が足りない状況が続くようになり、Tのそそのかしのせいで、いつのまにか42Uラック何本分の大規模なクラスターになってしまいました。(実際、そこまで大げさにはならないでしょうが…)
あえて細かいことはふれなかったのですが、架空である理論系の研究室で起こっている出来事を紹介しました。(あくまでもフィクション。フィクションです。)
今年1月に思い出したあと
筆者を取り巻くHPC業界の動向も少しずつ変わり、ノード間通信としてInfiniBandなどの高速通信が普及するようになったり、プロセッサーだけではなく、GPGPUやXeon Phiなどのアクセラレーターが身近になったこと。そして、HPCの世界でもクラウドコンピューティングの需要が出てくるようになりました。思い出したかのようにFacebookに投稿した結果、
当然のことながら、多数の愛のあるツッコミが入ってきました。投稿とコメントをご覧ください。
最近の動向
クラウドコンピューティングを利用して、必要な一定期間だけサーバー貸しをして大規模計算ができるようになってきましたが、あくまでもOSをインストールしたサーバー(インスタンスと呼ばれることが多いです)を貸すだけであって、プログラムを動かす環境にはなっていません。
そこで、プログラムを動かす環境を構築していく作業が必要となります。この作業は、ワークステーションやラックマウントサーバーを販売している(Tの所属する)今のHPC業界であっても必要なことですが、その経験を活かして、クラウドコンピューティングに応用しているといっても良いでしょう。
サーバー貸しだけではなく、SaaS (Software as a Service)といった、必要な機能を必要な分だけサービスとして利用できるようにしたサービスも生まれてきています。そうなりますと、画面の向こう側に構えている膨大な規模の計算機の存在をあまり考えずに研究や開発に打ち込めるようになるはずです。
そのときはまた、別のHPC依存の悪循環を考えましょう。