Edited at

re:Invent 2018 私的HPCまとめ

AWS re:Invent 2018に参加してきました。昨年に引き続きスピーカーとして参加してきました。今年も他の誰もやらないであろうHPC的なまとめを私なりにしてみます。


AWS re:Inventについて

一般的な説明は他のまとめに任せます。2018年は5万人とか6万人とか7万人とかってシャトルバスのおばさんに聞きました。ラスベガスの巨大なホテルを何箇所も使って、すげースケールです。

https://reinvent.awsevents.com/


所感


  • なんかHPC関連増えてませんか? 簡単に使えるAWS Batchが普及してきた影響でしょうか。機械学習、深層学習、AI系も増えていますがHPCも増えた感じがあります。

  • 新しいインスタンスタイプはいつでもWelcomeですね。p3dn.24xlargeでメモリが倍に増えて、Deep Learningでエポック数が増やせて嬉しい人は多いですよね。

  • EFAという新しいネットワークアダプターでMPIのスケールがこれでグッと伸びるはずです、うれしい。

  • Lustreの追加。個人的にはこれが一番うれしい。

  • 昨年のNitroにつづきEFA, Inference Chip, A1インスタンス。ありとあらゆるところでSoC, Chip関連の進化が見えています。2015年に買収したAnnapuruna Labの効果が出ているのだと思います。また半導体製造大手のTSMCからCloudをChip Designに使っていくアナウンスがあったり、Purpose-build chipの需要性があがり、計算リソースへの要求が増えて、クラウドへの移行が進むという綺麗な流れが見えます。EDA on CloudでPurpose-build chipの開発を加速することが、Computing多様化時代へのひとつの大きなステップになるような気がしています。

  • TSMCのアナウンス: http://www.tsmc.com/tsmcdotcom/PRListingNewsAction.do?action=detail&newsid=THGOANTHTH&language=E


HPC関連リリース


HPC関連おすすめセッション、ワークショップ、ビルダーズセッション


セッション

[CMP302] Computing on AWS: Driving Innovation w/o Infrastructure Constraints

https://youtu.be/FICBszDFGFk

[CMP326] Use HPC on AWS for Physics-Based Simulation, ML, and Statistics in CAE

https://www.slideshare.net/AmazonWebServices/use-hpc-on-aws-for-physicsbased-simulation-ml-and-statistics-in-cae-cmp326-aws-reinvent-2018

[CMP358] Analyze Slide Images and Process Phenotypic Assays at Scale on AWS

https://www.slideshare.net/AmazonWebServices/analyze-slide-images-and-process-phenotypic-assays-at-scale-on-aws-cmp358-aws-reinvent-2018

[CMP372] Intro to AWS Batch & How AQR Capital leverages AWS to Identify New Investment Signals

https://www.slideshare.net/AmazonWebServices/intro-to-aws-batch-how-aqr-capital-leverages-aws-to-identify-new-investment-signals-cmp372-aws-reinvent-2018

[CMP373] Extend HPC Workloads to Amazon EC2 Instances with Intel and Rescale

https://youtu.be/0bGZdqx6w1Q

[ENT360] Scaling HPC Applications on EC2 with Elastic Fabric Adapter

https://www.slideshare.net/AmazonWebServices/new-launch-scaling-tightlycoupled-hpc-workloads-on-hpc-with-elastic-fabric-adapter-and-high-bandwidth-network-optimized-ec2-instances-ent360-aws-reinvent-2018

[MFG202] AWS for Manufacturing: Digital Transformation throughout the Value Chain

https://youtu.be/Ty_MrR8MQ44

[MFG306] How to Build Performant, Highly Available License Services in the Cloud

https://www.slideshare.net/AmazonWebServices/how-to-build-performant-highly-available-license-services-in-the-cloud-mfg306-aws-reinvent-2018

[OIG303] Best Practices for Designing Demanding Oil & Gas HPC Workflows

https://www.slideshare.net/AmazonWebServices/best-practices-for-designing-demanding-oil-gas-hpc-workflows-oig303-aws-reinvent-2018

[STG320] Amazon FSx for Lustre: How to build and deploy file systems for compute-intensive workloads, HPC, and machine learning applications

https://www.slideshare.net/AmazonWebServices/new-launch-repeat-1-amazon-fsx-for-lustre-how-to-build-and-deploy-file-systems-for-computeintensive-workloads-hpc-and-machine-learning-applications-stg320r1-aws-reinvent-2018

[STG377] High-Throughput Sunflowers: A Genomics Case Study in Building Amazon S3 Data Lakes

https://www.slideshare.net/AmazonWebServices/highthroughput-sunflowers-a-genomics-case-study-in-building-amazon-s3-data-lakes-stg377r1-aws-reinvent-2018

[MFG06] How to Build Performant, Highly Available License Services in the Cloud

How to Build Performant, Highly Available License Services in the Cloud (MFG306) - AWS re:Invent 2018

https://www.slideshare.net/AmazonWebServices/how-to-build-performant-highly-available-license-services-in-the-cloud-mfg306-aws-reinvent-2018

[MFG305]re:Invent: Amazon on Amazon: How Amazon Designs Chips on AWS

Recording: https://lnkd.in/gew-RwG

Slides: https://lnkd.in/gsa6ViT

[MFG201]Leadership Session: AWS Semiconductor

Recording: https://lnkd.in/gSU_bcV

Slides: https://lnkd.in/gdkGupg


ビルダーズセッション

2018年から導入されたと思われる、簡易版ワークショップ。1つのテーブルに6人くらいついて、講師1人ついてハンズオンでシステムをデプロイしている様子。どのセッションも満杯で参加できなかった。資料だけでも公開してくれないかしら。。。

[CMP417] Running High Performance Computing Workloads in the Cloud

[CMP419] Selecting the Right Storage for Your HPC Workload

[CMP420] Setting up Your First HPC Cluster on AWS

[CMP421] Deploying a Burstable and Event-Driven HPC Cluster on AWS

[CMP423] Using NICE DCV to Visualize your HPC Simulations

[CMP424] Weather Modeling with WRF on AWS


ワークショップ

[STG320] Amazon FSx for Lustre: How to build and deploy file systems for compute-intensive workloads, HPC, and machine learning applications

https://github.com/aws-samples/amazon-fsx-workshop/tree/master/fsx-lustre

[MFG401] Rightsizing Your Silicon Design Environment: Elastic Clusters for EDA Workloads

http://reinvent-mfg401-edacloud-workshop-static.s3-website-us-west-2.amazonaws.com/

[CMP404] Set Up a Million-Core Cluster to Accelerate HPC Workloads

https://www.slideshare.net/AmazonWebServices/set-up-a-millioncore-cluster-to-accelerate-hpc-workloads-cmp404-aws-reinvent-2018