AWS re:Invent 2017に参加してきました。今年はスピーカーとして参加してきました。今年も他の誰もやらないであろうHPC的なまとめを私なりにしてみます。
AWS re:Inventについて
一般的な説明は他のまとめに任せます。２０１７年は４万３０００人参加だそうで、すげースケール。
いつもお世話になっているクラスメソッド様のまとめリンクはこちら。
https://classmethod.jp/m/reinvent2017/
C5 instance
2016年のre:Inventで発表されたSkylake世代のCPUを搭載したC5インスタンスがre:Inventの３週間前にリリースされました。まだC3インスタンスをたくさん使ってますが、これで切り替えられそうです。
P3 instance
旧世代のP2インスタンス(K80搭載)にくらべてお値段３倍以上ですが、性能も３倍以上、ものによっては５−１０倍の計算性能を示す事例もあるようです。切り替えには性能テストをしっかりやってTCO評価が必要ですね。
AWS Batch Job Array
ジョブ配列によって、大規模なモンテカルロシミュレーション、パラメトリックスイープ、および数千件の入力ファイルやオブジェクトに対して同じオペレーションを実行する必要のあるジョブの送信や管理が簡素化されます。
https://aws.amazon.com/jp/about-aws/whats-new/2017/11/aws-batch-adds-support-for-large-scale-job-submissions/
Spot Instance
結構色々変わりますので、変更点をしっかり押さえておきたいです。
http://blog.spotinst.com/2017/11/29/everything-spot-instances-reinvent-2017/
- Spot Price Changes Are Less Frequent
- Bidding For Spot Instances Becomes Optional
- New Feature: Hibernate For Spot
- Launch Spot Instances Via RunInstances API
- T2 Instances Are Now Available As Spot Instances
HPC関連おすすめセッション
今年はHPC関連セッション少なくなった印象があります、機械学習、深層学習、AI系が増えましたね。
CMP207 - High Performance Computing on AWS
CMP306 - Architectures for HPC/HTC Workloads on AWS
CMP333 - How to Get the HPC Best-in-class Performance via Intel Xeon Skylake Processors and AWS C5 Instances with Ease of Deployment Through Rescale
EUT301 - Oil & Gas Reservoir Simulation leveraging AWS HPC technologies and 3D visualization
EUT302 - Data Ingestion at Seismic Scale: Best practices for processing petabyte scale HPC workloads in the Cloud
GPSTEC324 - GPS: Storage for HPC in the Cloud
SRV317 - Unlocking High Performance Computing for Financial Services with Serverless Compute
AMF304 - Optimizing Design and Engineering Performance in the Cloud for Manufacturing
CMP323 - AWS Batch: Easy and Efficient Batch Computing on AWS
LFS309 - High-Throughput Genomics on AWS
CMP308 - FPGA Accelerated Computing Using Amazon EC2 F1 Instances
CMP332 - C5 Instances and the Evolution of Amazon EC2 Virtualization
CMP301 - Deep Dive on Amazon EC2 Instances, Featuring Performance Optimization Best Practices
EUT306 - Remote 3-D Visualization On-Demand
資料がないので、是非見たい
所感
HPC関連のセッションは減ってきた感がありますが、HPCプライベートイベントは活発に開催されていました。そこでAWSのProduct開発チームや深いユーザ事例紹介もありますので、プライベートイベントに積極的に参加することをおススメします。プライベートイベントに参加するには、AWSさんと密にコミュニケーションしたり、自分から情報発信していくことも重要です。
一番の感想としてはAI,Machine Learning, Deep LearningはHPC屋さんの必修科目です。完全に。
一緒に勉強していきましょう。JAWS AI支部に通い詰めましょう。