はじめに
この記事は株式会社ナレッジコミュニケーションが運営する クラウドAI by ナレコム Advent Calendar 2021 の4日目にあたる記事になります。
今回はAWS が開催する re:Invent 2021 で発表された Amazon EMR Serverlessについてどんなサービスなのか調べてみました。
Amazon EMR Serverlessとは
re:Invent 2021は既存のサービスをより強力にするアップデートが多かった印象です。
その中で今回はAmazon EMR Serverlessに焦点をあてて紹介したいと思います。
Amazon EMR Serverlessは クラスターの構成や管理、最適化についてApache Spark、Hive、Prestoなどのオープンソースのフレームワークを使用して構築されたアプリケーションを実行することができます。
またアプリケーションに必要なメモリリソースやコンピューティングリソースを自動的にスケーリングし、使った分だけの利用料が発生するようになっています。
Amazon EMRとの違い
従来のAmazon EMRであれば例えば実施したい目的に合わせてAmazon EC2のメモリ最適化インスタンスや、EC2Graviton2ベースのインスタンスを使用してパフォーマンスを向上させたりなどができます。
また、Amazon EMRに統合されているEC2スポットインスタンスを使用して、コストの最適化をすることもできます。
しかしこれらのインスタンスの調整や選定、アプリケーションごとにことなるリソースやデータ量を予測してカスタマイズすることは容易ではありません。
そこででAmazon EMR Serverlessを利用することで上述のような課題を解決することができます。
- クラスターサイズを推測する必要がない
- Amazon EMRのパフォーマンスが最適化されたランタイムとオープンソースの選択
- Amazon EMR Studio(統合開発環境(IDE))とのシームレスな統合
- きめ細かいオートスケーリング
- アベイラビリティーゾーンによる耐障害性
- 共有アプリケーションを有効にする(IAMによる各ジョブのコントロール)
- インタラクティブなアプリケーションコントロール(事前初期化するワーカーの数と同時ワーカーの最大数の制御)
- 別のデプロイメントモデル同士のへの切り替えの容易化
Amazon EMR Serverlessのプレビュー版は、2021/12/4時点で米バージニアリージョンで利用可能です。
おわりに
ノウハウが必要なクラスターコントロールが自動化されるのでよりEMRの利用がシンプルかつ強力なものになりましたね。
その他アップデートも非常に便利なものばかりですのでぜひチェックしてみてください。