AWS re:Invent 2016に参加してきました。他の誰もやらないであろうHPC的なまとめを私なりにしてみます。
AWS re:Inventについて
私が説明するよりもはるかに素晴らしい紹介コンテンツが山ほどあるので、そちらを参照ください。
毎年参照するのがクラスメソッド様の全セッションまとめです。毎年お世話になります。多謝。
http://dev.classmethod.jp/cloud/aws/reinvent-2016-matome/
KeyNote
New Instance Type
新しいインスタンスタイプのリリース、skylake世代がAWSにやってきます。
c5, r4なんかはベンチマークが非常に楽しみです。i3なんかもClusterの共有ファイルサーバとしてI/Oが改善されているので非常に楽しみです。でもやっぱり一番熱いのはf1インスタんですかね。FPGAがAWSにやってくるとは思っていませんでした。MentorとかSynopsysとかEDAをぶん回したいですね。
またENA(Elastic Network Adaptor)でのLatency, MPI並列性能測定をまだやっていないので近いうちに確認しておきたいと思います。
https://aws.amazon.com/blogs/aws/ec2-instance-type-update-t2-r4-f1-elastic-gpus-i3-c5/
Elastic GPU
g2インスタンスはGPUの性能は非常にいいのですが、CPUやメモリの性能バランスがよくないなーと常々思ってて、というかGPUオーバープロビジョンじゃないって感じてました。Elastic GPUのおかげで自分でバランスとることができるのでうれしいです。3D Renderingの性能はやっぱすこし落ちるのかな？ちょっとそこが心配です。
AWS Batch
これは正直やばいサービス、HPC SaaS Killerです。プレビュー申し込みましたが、まだ使えてないです。GAが非常に楽しみです。 めでたくGA!
HPC関連おすすめセッション
新サービスも重要だけどDeep Diveも勉強になるよね
AWS re:Invent 2016: Deep Dive on Amazon EC2 Instances, Featuring Performance Optimization (CMP301): https://www.youtube.com/watch?v=agQMFIWr2h4
AWS re:Invent 2016: Save up to 90% and Run Production Workloads on Spot (CMP307) : https://www.youtube.com/watch?v=PZFa83QA6UE
AWS re:Invent 2016: Revolutionizing Car Buying with 3D Rendering on Amazon EC2 (CMP313) : https://www.youtube.com/watch?v=0UWLMIFhBIk
AWS re:Invent 2016: Bringing Deep Learning to the Cloud with Amazon EC2 (CMP314) : https://www.youtube.com/watch?v=34Xorby_pyw
AWS re:Invent 2016: Optimizing Network Performance for Amazon EC2 Instances (CMP315) : https://www.youtube.com/watch?v=CBmSl3O-AhI&feature=youtu.be
AWS re:Invent 2016: Building HPC Clusters as Code in the (Almost) Infinite Cloud( CMP318 ) : https://www.youtube.com/watch?v=x7M3m1jZ7L8
AWS re:Invent 2016: Massively Parallel, Compute Intensive Workloads in the Cloud (CMP317) : https://www.youtube.com/watch?v=3equT56K1Xs
AWS re:Invent 2016: NEW LAUNCH! Delivering Graphics-Intensive Applications from AWS Cloud (CMP320) : https://www.youtube.com/watch?v=MSVe8L6Mmjs&feature=youtu.be
AWS re:Invent 2016: Building SaaS Offerings for Desktop Apps with Amazon AppStream 2.0 (CMP321) : https://www.youtube.com/watch?v=69PGgSvHOEo&feature=youtu.be
AWS re:Invent 2016: NEW LAUNCH! Introducing AWS Batch: Easy and efficient batch computing (CMP323) : https://www.youtube.com/watch?v=ebwfhSS4ZkY&feature=youtu.be
AWS re:Invent 2016: Best practices for running enterprise workloads on AWS (ENT213)
https://www.youtube.com/watch?v=gjKNHK4jWMQ
所感
実はセッションはほとんでライブで見れませんでした。Vendorとのmeetingやラスベガスにあるデータセンターの見学なんかをしていました。そういう意味でライブ感を味わえてないのは残念でした。
いろいろなサービスが充実してきて、HPC環境をAWS上で構築しても何の問題もないレベルまできてる思います。データ転送、MPI並列性能、リモートでの3D Visualization。すべてがAWS上でハイレベルに構築可能です。あとはソフトウェアのライセンスがAWSのようなFlexibilityをもったものがたくさん出てくるとより一層クラウド化がすすむと思います。
個人的にはAWSがNICE Softwareを買収して、NICE DCVというリモートの3D RenderingのテクノロジーがどうAWSに組み込まれていくのか楽しみにしてました。数年前からRemote VisualizationはCloud HPCの課題だなーと感じていましたし、Citrixとかはなんかいまいちな感じだったし、NICEのパフォーマンスの良さはお仕事を通じて体験済みだったので。それがAppStream2.0としてHTML5ベースになって登場したのは嬉しい限りです。
今後はEC2だけでなくECSがHPCにどうやって使われていくかウォッチしていきたいと思います。やっぱコンテナ便利だし、AWS BatchでもサポートされるのでECS-Batch-Spotのコンボでとても面白いことができるのではないかと感じております。
あとDeep LearningもHPC的に必修科目だなと改めて感じました。今まで手が出せなくて避けてきたのですが。。。TensorFlowとか触ったこともないけど。。。勉強します。Deep Learning系はライブラリ等環境揃えるのがめんどくさいからECS-Batch-Spotのコンボが有効なんだろうなと思います。
私は引き続き社内のHPCリソースを粛々とAWSに追い出していきたいと思います。今後とも宜しくお願いします。
その他
AI系３種サービス(Polly,Lex,Rekognition)のリリースや、参加者にEcho Dotを配布していたりVoice, AIという分野に非常に精力的なAmazonが伺えます。実際にラスベガスのホテルでEcho DotをVoiceで動かしてみて感動しました。何かしらお仕事でつかえないかなー？って考えてます。
「Alexa, execute my job on GPU cluster!」
みたいなw
というか技適早う（怒）