AWS re:Invent 2018に参加してきました。昨年に引き続きスピーカーとして参加してきました。今年も他の誰もやらないであろうHPC的なまとめを私なりにしてみます。
AWS re:Inventについて
一般的な説明は他のまとめに任せます。2018年は5万人とか６万人とか７万人とかってシャトルバスのおばさんに聞きました。ラスベガスの巨大なホテルを何箇所も使って、すげースケールです。
https://reinvent.awsevents.com/
##所感
- なんかHPC関連増えてませんか？ 簡単に使えるAWS Batchが普及してきた影響でしょうか。機械学習、深層学習、AI系も増えていますがHPCも増えた感じがあります。
- 新しいインスタンスタイプはいつでもWelcomeですね。p3dn.24xlargeでメモリが倍に増えて、Deep Learningでエポック数が増やせて嬉しい人は多いですよね。
- EFAという新しいネットワークアダプターでMPIのスケールがこれでグッと伸びるはずです、うれしい。
- Lustreの追加。個人的にはこれが一番うれしい。
- 昨年のNitroにつづきEFA, Inference Chip, A1インスタンス。ありとあらゆるところでSoC, Chip関連の進化が見えています。2015年に買収したAnnapuruna Labの効果が出ているのだと思います。また半導体製造大手のTSMCからCloudをChip Designに使っていくアナウンスがあったり、Purpose-build chipの需要性があがり、計算リソースへの要求が増えて、クラウドへの移行が進むという綺麗な流れが見えます。EDA on CloudでPurpose-build chipの開発を加速することが、Computing多様化時代へのひとつの大きなステップになるような気がしています。
- TSMCのアナウンス: http://www.tsmc.com/tsmcdotcom/PRListingNewsAction.do?action=detail&newsid=THGOANTHTH&language=E
HPC関連リリース
-
FSx for Lustre: 待っていたよ！君のことを！
https://aws.amazon.com/blogs/aws/new-amazon-fsx-for-lustre/ -
Elastic Inference: トレーニングだけじゃなく推論もElasticって画期的。
https://aws.amazon.com/about-aws/whats-new/2018/11/introducing-amazon-elastic-inference/ -
AWS Marketplace for machine learning: これで幅広いアルゴリズムやフレームワークに対応しやすくなりますね。
https://aws.amazon.com/blogs/aws/new-machine-learning-algorithms-and-model-packages-now-available-in-aws-marketplace/ -
AWS Datasync:データ転送速くなるって結構うれしい。
https://aws.amazon.com/blogs/aws/new-aws-datasync-automated-and-accelerated-data-transfer/ -
C5n instance: 100Gbps!!!
https://aws.amazon.com/about-aws/whats-new/2018/11/introducing-amazon-ec2-c5n-instances/ -
P3dn instance: Tesla V100 with 32GB RAM + 100Gbps network。モンスターマシン！
https://news.developer.nvidia.com/aws-announces-new-gpu-accelerated-ec2-instances-and-networking-enhancements/ -
AWS ParallelCluster: EC2 clusterを構築したり、AWS Batchへもジョブがサブミットできる。
https://aws.amazon.com/blogs/opensource/aws-parallelcluster/ -
Compute, Database, Messaging, Analytics, and Machine Learning Integration for AWS Step Functions: Step FunctionからAWS Batch等に直接つなげることができる。HPCピタゴラスイッチが捗る。
https://aws.amazon.com/jp/blogs/news/new-compute-database-messaging-analytics-and-machine-learning-integration-for-aws-step-functions/ -
Elastic Fabric Adaptor: Nitroシステム上でハイパーバイザー等をすっ飛ばして直接ネットワークアダプターにアクセスすることができる、latencyは従来(30-40msec)の半分くらい(15-20msec)になるらしい。
https://aws.amazon.com/about-aws/whats-new/2018/11/introducing-elastic-fabric-adapter/?fbclid=IwAR3VuOpMCyTfWyODyCsbxzlYGrWyyiTPR9yaTm-KrCjnWYGeN8PRWIjBzs8 -
AWS Inference: Edge ComputingのChipが出て来ましたね。
https://aws.amazon.com/about-aws/whats-new/2018/11/announcing-amazon-inferentia-machine-learning-inference-microchip/ -
EC2 Instances (A1) Powered by Arm-Based AWS Graviton Processors: Armベース！何に使えばいいかわからないけど。
https://aws.amazon.com/blogs/aws/new-ec2-instances-a1-powered-by-arm-based-aws-graviton-processors/ -
Lambda Runtime: ピタゴラスイッチが捗りそう。
https://aws.amazon.com/jp/blogs/aws/new-for-aws-lambda-use-any-programming-language-and-share-common-components/
HPC関連おすすめセッション、ワークショップ、ビルダーズセッション
###セッション
[CMP302] Computing on AWS: Driving Innovation w/o Infrastructure Constraints
https://youtu.be/FICBszDFGFk
[CMP326] Use HPC on AWS for Physics-Based Simulation, ML, and Statistics in CAE
https://www.slideshare.net/AmazonWebServices/use-hpc-on-aws-for-physicsbased-simulation-ml-and-statistics-in-cae-cmp326-aws-reinvent-2018
[CMP358] Analyze Slide Images and Process Phenotypic Assays at Scale on AWS
https://www.slideshare.net/AmazonWebServices/analyze-slide-images-and-process-phenotypic-assays-at-scale-on-aws-cmp358-aws-reinvent-2018
[CMP372] Intro to AWS Batch & How AQR Capital leverages AWS to Identify New Investment Signals
https://www.slideshare.net/AmazonWebServices/intro-to-aws-batch-how-aqr-capital-leverages-aws-to-identify-new-investment-signals-cmp372-aws-reinvent-2018
[CMP373] Extend HPC Workloads to Amazon EC2 Instances with Intel and Rescale
https://youtu.be/0bGZdqx6w1Q
[ENT360] Scaling HPC Applications on EC2 with Elastic Fabric Adapter
https://www.slideshare.net/AmazonWebServices/new-launch-scaling-tightlycoupled-hpc-workloads-on-hpc-with-elastic-fabric-adapter-and-high-bandwidth-network-optimized-ec2-instances-ent360-aws-reinvent-2018
[MFG202] AWS for Manufacturing: Digital Transformation throughout the Value Chain
https://youtu.be/Ty_MrR8MQ44
[MFG306] How to Build Performant, Highly Available License Services in the Cloud
https://www.slideshare.net/AmazonWebServices/how-to-build-performant-highly-available-license-services-in-the-cloud-mfg306-aws-reinvent-2018
[OIG303] Best Practices for Designing Demanding Oil & Gas HPC Workflows
https://www.slideshare.net/AmazonWebServices/best-practices-for-designing-demanding-oil-gas-hpc-workflows-oig303-aws-reinvent-2018
[STG320] Amazon FSx for Lustre: How to build and deploy file systems for compute-intensive workloads, HPC, and machine learning applications
https://www.slideshare.net/AmazonWebServices/new-launch-repeat-1-amazon-fsx-for-lustre-how-to-build-and-deploy-file-systems-for-computeintensive-workloads-hpc-and-machine-learning-applications-stg320r1-aws-reinvent-2018
[STG377] High-Throughput Sunflowers: A Genomics Case Study in Building Amazon S3 Data Lakes
https://www.slideshare.net/AmazonWebServices/highthroughput-sunflowers-a-genomics-case-study-in-building-amazon-s3-data-lakes-stg377r1-aws-reinvent-2018
[MFG06] How to Build Performant, Highly Available License Services in the Cloud
How to Build Performant, Highly Available License Services in the Cloud (MFG306) - AWS re:Invent 2018
https://www.slideshare.net/AmazonWebServices/how-to-build-performant-highly-available-license-services-in-the-cloud-mfg306-aws-reinvent-2018
[MFG305]re:Invent: Amazon on Amazon: How Amazon Designs Chips on AWS
Recording: https://lnkd.in/gew-RwG
Slides: https://lnkd.in/gsa6ViT
[MFG201]Leadership Session: AWS Semiconductor
Recording: https://lnkd.in/gSU_bcV
Slides: https://lnkd.in/gdkGupg
###ビルダーズセッション
2018年から導入されたと思われる、簡易版ワークショップ。１つのテーブルに６人くらいついて、講師1人ついてハンズオンでシステムをデプロイしている様子。どのセッションも満杯で参加できなかった。資料だけでも公開してくれないかしら。。。
[CMP417] Running High Performance Computing Workloads in the Cloud
[CMP419] Selecting the Right Storage for Your HPC Workload
[CMP420] Setting up Your First HPC Cluster on AWS
[CMP421] Deploying a Burstable and Event-Driven HPC Cluster on AWS
[CMP423] Using NICE DCV to Visualize your HPC Simulations
[CMP424] Weather Modeling with WRF on AWS
###ワークショップ
[STG320] Amazon FSx for Lustre: How to build and deploy file systems for compute-intensive workloads, HPC, and machine learning applications
https://github.com/aws-samples/amazon-fsx-workshop/tree/master/fsx-lustre
[MFG401] Rightsizing Your Silicon Design Environment: Elastic Clusters for EDA Workloads
http://reinvent-mfg401-edacloud-workshop-static.s3-website-us-west-2.amazonaws.com/
[CMP404] Set Up a Million-Core Cluster to Accelerate HPC Workloads
https://www.slideshare.net/AmazonWebServices/set-up-a-millioncore-cluster-to-accelerate-hpc-workloads-cmp404-aws-reinvent-2018