2019年は自分のプレゼンと仕事で忙しすぎて忘れてた、2020年はコロナで現地にいないのでまとめる気にならなかったけど。３年ぶりにre:Invent 私的HPCまとめをしてみたいと思います。
HPC Tech ShortsというYoutubeチャネルでまとめをやってくれるんだろうなー、と思って待ってたら12/15に出てきた。
https://www.youtube.com/c/HPCTechShorts
- FSx on OpenZFS : https://aws.amazon.com/about-aws/whats-new/2021/11/amazon-fsx-openzfs/
- ZFSって触ったことないのでよくわからんのですが、結構パフォーマンスでるならLustreから乗り換えるのもありかも。
- Im4gn and Is4gen powered by Graviton2 : https://aws.amazon.com/about-aws/whats-new/2021/11/amazon-ec2-im4gn-is4gen-aws-graviton2/
- Nitro x Gravitonの組み合わせでサーバサイドのコストとパフォーマンス最適化がどんどんすすむ
- C7g - Graviton3 : https://aws.amazon.com/ec2/instance-types/c7g/
- 大本命。すぐにベンチマーク取りたい。
- HPC Connector for NICE EngineFrame : https://aws.amazon.com/blogs/hpc/introducing-aws-hpc-connector/
- オンプレからバーストするのって最高にかっこいい。ユーザがクラウドかオンプレなのか気にする必要ないってのが理想だし。でも自分オンプレにクラスター持ってないっす。
HPC Tech Shortsで触れられていない、かつ個人的な興味を引いたreleaseがこちら。
- AWS Batch - Step Function : https://aws.amazon.com/blogs/hpc/using-aws-batch-console-support-for-step-functions/
- AWS Batchからのピタゴラスイッチが捗るのは非常に夢が広がる。
- AWS Batch fareshare scheduling : https://aws.amazon.com/blogs/hpc/introducing-fair-share-scheduling-for-aws-batch/
- クラウドの潤沢なリソースを使えばあまりfareshareスケジューリングって、あまり使う機会がないのかなと思っていたのですが、実装されたということはリクエストが多かったという意味。Batchユーザが増えてきたんだなと感じる。
- Slurm API : https://aws.amazon.com/blogs/hpc/using-the-slurm-rest-api-to-integrate-with-distributed-architectures-on-aws/
- Jobのサブミットの方法が色々準備されてると、用途は広がる可能性があると思う。
- HPC-optimized EC2 Hpc6a instance : https://aws.amazon.com/blogs/hpc/coming-soon-dedicated-hpc-instances-and-hybrid-functionality/
- EC2インスタンスがたくさん出てきていて、Nitroの凄さを感じる。
- 3.2M vCPU : https://aws.amazon.com/blogs/hpc/running-a-3-2m-vcpu-hpc-workload-on-aws-with-yellowdog/
- 1M vCPUを経験した身としては、3.2M vCPUを33分でフル稼働させたスケジューラーすごすぎる