Databricks cluster compute types: feature comparison | Databricks on AWS [2022/11/23時点]の翻訳です。
本書は抄訳であり内容の正確性を保証するものではありません。正確な内容に関しては原文を参照ください。
Databricksでは、それぞれが異なるタイプのワークロードに適した5つのコンピュートタイプを提供しています。
- ジョブコンピュート: スケーラブルかつ高信頼性の計算資源でデータエンジニアリングやMLワークロードを実行します。プロダクションワークロードで使用することを強くお勧めします。
- 汎用コンピュート: インタラクティブなデータサイエンス、分析ワークロード向けに設計されています。
- SQL Pro: 高い同時実行性、低レーテンシーワークロード向けに設計された計算資源でBIや分析ワークロードを実行します。
- サーバレスSQL: SQL Proの全機能に加え、Databricksによって管理される最適化計算資源フリートを通じて提供される高速な起動時間とオートスケールを実現します。
- SQL Classic: お使いのデータレイクからタイムリーに洞察を得るために、BIレポート、分析、ビジュアライゼーションのためにSQLクエリーを実行します。
プレビュー
コンピュートタイプSQL Proはパブリックプレビューです。
以下の表では、それぞれのコンピュートタイプで使用できる機能を説明しています。
| 機能 | Jobs compute | All-purpose compute | SQL Pro/Serverless SQL | SQL Classic |
|---|---|---|---|---|
| マネージドApache Spark: Databricksプラットフォームで提供される、アラートやリトライ機能を搭載したプロダクションジョブ実行のためのApache Sparkクラスター。 | X | X | ||
| ジョブスケジューリング: モニタリング機能付きのストリーミング、マルチステップジョブ、SQL、稼働ライブラリのスケジューラを含むプロダクションジョブ。 | X | X | X | |
| オートパイロットクラスター: 計算資源やインスタンスストレージのオートスケーリング、自動起動、Photonやスポットインスタンスの活用、クラスターの自動停止によるコスト効率の高いクラスター | X | X | ||
| Databricks機械学習ランタイム: Spark/Horovod連携、XGBoost、TensorFlow、PyTorch、Kerasサポート、エクスペリメント追跡、ハイパーパラメーターチューニング、AutoMLによるガラスボックスML、特徴量エンジニアリング、Databricks Feature Store、MLflowモデルレジストリを含む、アウトオブボックスのML | X | X | ||
| マネージドMLflow: MLflowリモート実行、マネージドトラッキングサーバーによるエンドツーエンドのMLをシンプルにするために、Databrikcs上でMLflowを実行。また、Databricks外からMLflowを実行することも可能(利用が制限される場合あり)。 | X | X | ||
| DeltaエンジンとDelta Lake: 大規模なデータ分析で高パフォーマンスをサポートする、クリーンかつ高品質のデータを提供する堅牢なパイプライン。DatabricksにおけるDelta LakeはACIDトランザクション、スキーマ管理、バッチ・ストリームの読み書きのサポート、データバージョン管理、Deltaエンジンの最適化パフォーマンスを提供。 | X | X | X | X |
| インタラクティブクラスター: 複数ユーザーのためのハイコンカレンシーモードや分析のための堅牢なクラスター。 | X | |||
| ノートブックとコラボレーション: ワンクリックの可視化、インタラクティブダッシュボード、データプロファイル、ノーコードのデータ探索、パラメーターウィジェット、実験トラッキング、改訂履歴、GitHubのようなGitプロバイダーを用いたバージョン管理連携を提供するScala、Python、SQL、Rノートブックを用いた、アナリストや同僚との高度な連携や生産性の高い作業の実現。 | X | X | ||
| エコシステム連携: RStudio連携や、JDBC/ODBCを通じた様々なサードパーティBIツールとの連携。 | X | |||
| ビジネスインテリジェンス: SQLウェアハウスを通じた高性能、スケーラブル、完全マネージドのSQLクエリー向けPhotonエンジン。コストや信頼性の最適化オプション、ビルトインのクエリーエディター、クエリー履歴、クエリープロファイル、高信頼のデータキャッシュ、自動停止、ビルトインのダッシュボードやアラートを含む。 | X | X |
コンピュートタイプごとの価格に関しては、AWS Pricingをご覧ください。