本書は抄訳であり内容の正確性を保証するものではありません。正確な内容に関しては原文を参照ください。
本日、AWSのGraviton2ベースのElastic Compute Cloud (Amazon EC2)インスタンスをDatabricksでのサポート(パブリックプレビュー)を発表できることを嬉しく思います。GravitonプロセッサーはAmazon EC2におけるクラウドワークロードのベストなコストパフォーマンスを提供するためにAWSによってカスタムの設計、最適化がなされています。Photonと組み合わせることで、高性能のDatabricksクエリーエンジン、Graviton2ベースのEC2インスタンスは、お使いのデータレイクハウスワークロードにおいて、同等のAmazon EC2インスタンスと比べて3倍から4倍の優れたコストパフォーマンスを提供することができます。この記事では、PhotonとGraviton2のコストパフォーマンスを説明し、お使いのAWSインフラコストをさらに削減するための追加のティップスを提供します。
PhotonとGraviton2によるコストパフォーマンス
Photon + Graviton2のコストパフォーマンスを計測するために、我々はGraviton2ベースのR6gd EC2インスタンスと、同等のI3 EC3インスタンスに対して2つの異なるワークロード(TPC-DSとバルクインサートとマージコマンドを行う標準的なETLワークロード)を実行するシンプルなテストを行いました。我々はPhotonがEC2インスタンスのコストパフォーマンスを劇的に改善することを発見しました。しかし、Graviton2ベースのインスタンス上のPhotonはさらに改善し、I3インスタンスで実行するDatabricksランタイムと比較して、ETLワークロードでは3.3倍のコストパフォーマンス、TPC-DSワークロードでは3.7倍のコストパフォーマンスを達成しました。Graviton2ベースのインスタンスを試したお客様は同様の結果を報告し、興奮を共有してくれました！こちらに、ArmベースのGravitonインスタンスの全てを知ることになったDatabricksのお客様のコメントを引用します。
「半導体設計において、クラウドコンピューティングは重大なイノベーションを生み出しており、我々の設計のワークロードをArmベースのAWS Graviton2ベースのインスタンスに移行することで、劇的なコストパフォーマンスのメリットを得ることができ、我々はArm Neoverse N1プラットフォームを有効にすることで直悦子のメリットを知ることができました。」ArmのVP of productivity engineeringであるMark Galbraithはこうも述べました。「これは特にGraviton2上のDatabricksでは顕著であり、さらにユーザーエクスペリエンスを強化し、コストを削減するために、我々のDatabricksにおけるプロダクション利用をGraviton2に移行することを楽しみにしています。」
GravitonとPhotonによるコストパフォーマンスの比較
Amazon EC2スポットインスタンスとAmazon EBS gp3ボリュームサポートによる更なるコスト削減
Graviton2とPhotonに加えて、以下のようにAWSでのDatabricksワークロードのコストパフォーマンスを改善する方法が存在します。
- Amazon EC2スポットインスタンス - スポットインスタンスを用いることで、スペアのEC2のキャパシティを活用でき、オンデマンドの価格と比べて最大90%のディスカウントを利用することができます。ご自身のワークロードの特性に応じて、DatabrickクラスターのオンデマンドやリザーブドEC2インスタンスをスポットインスタンスで置き換え、コストを削減することができます。
- Amazon EBS gp3ボリューム - ストレージは、お使いのクラウドインフラストラクチャコストの大きな部分となりえます。Amazon Elastic Block Store (Amazon EBS)のgp3 SSDボリュームを用いることで、ストレージ容量とは独立したパフォーマンスをプロビジョンすることができ、既存のgp2ボリュームと比較して、GBあたり最大20%コストパフォーマンスを改善することができます。
コストパフォーマンスの最適化の詳細に関しては、Databricksにおけるキャパシティプランニング及びコストのコントロールをご覧ください。
Graviton2と使い始める
AWS Graviton2ベースインスタンスサポートのパブリックプレビューは、現在ロールアウト中であり、向こう数週間で全てのサポートリージョンで利用できるようになります。Graviton2とPhotonを利用開始する際のガイド、移行ガイドについてはGravitonのドキュメントをご覧ください。