Databricksクイックスタートガイドのコンテンツです。

Databricks architecture overview | Databricks on AWS [2021/4/12時点]の翻訳です。

Apache Sparkの開発者が提供する、Databricksの統合分析プラットフォームは、世界中の困難な問題に取り組むデータチームのコラボレーションを実現します。

以下のようなユースケースにおいて、データサイエンティスト、データエンジニア、データアナリストがコラボレーションする際に、Databricksが効果を発揮します：

スケーラビリティが求められる高度な機械学習、グラフ処理に取り組む
ディープラーニングを活用して、非構造化データに対する画像解釈、自動翻訳、自然言語処理などを実現する
データウェアハウスの高速化、簡素化、高スケーラビリティの確保
データサイエンスとAIによる脅威の早期検知
IoTデータのリアルタイム分析
GDPR対応の円滑化

ハイレベルのアーキテクチャ

Databricksが大量のバックエンドサービスを管理しつつも、セキュアな機能横断チームのコラボラーションを実現するように構成されているので、あなたはデータサイエンス、データ分析、データエンジニアリングの作業に集中できます。

アーキテクチャは独自の設定に依存しますが、以下の図はAWS環境において最も一般的な構成と、データフローを示したものです。

Databricksはコントロールプレーンとデータプレーンから構成されています。

コントロールプレーンには、DatabricksのAWSアカウント上でDatabricksが管理するバックエンドサービスが含まれます。あなたが実行する全てのコマンド(ノートブックのセル)は、完全に暗号化された状態でコントロールプレーンに存在することになります。保存されたコマンドはデータプレーンに格納されます。

データプレーンはあなたのAWSアカウントで管理され、あなたのデータが格納される場所になります。また、ここでデータが処理されます。この図では、既にデータがDatabricksに登録されていることを仮定していますが、イベントデータ、ストリーミングデータ、IoTデータなど外部のデータソースからデータを取り込むことが可能です。Databricksコネクターを用いることで、あなたのAWSアカウント外の外部データソースにも接続することができます。

あなたのデータは常に、データプレーンのあなたのAWSアカウントに存在します。このため、あなたのデータがロックインされることなく、常にフルコントロール、オーナーシップを維持することができます。

E2アーキテクチャ

2020年9月にDatabricksはE2バージョンのプラットフォームをリリースしました。E2プラットフォームには、以下の機能が含まれます：

マルチワークスペースアカウント： Account APIを用いることで、一つのアカウントに対して複数のワークスペースを作成できます。
顧客管理のVPC： Databricksが作成するVPCでワークスペースを作成するのではなく、あなたが管理するVPCにワークスペースを作成することができます。
セキュアなクラスター接続： "No Public IP"とも呼ばれる機能です。全てのノードがプライベートIPアドレスのみを持つ状態でクラスターを起動でき、より高いセキュリティを実現できます。
ノートブックに対する顧客管理の鍵: (パブリックプレビュー)Databricksが管理するコントロールプレーンに独自のKMSキーを導入できます。

トークン管理、IPアクセスリスト、クラスターポリシー、IAMクレディンシャルパススルーの機能によって、E2アーキテクチャは、AWS上のDatabricksプラットフォームをよりセキュア、スケーラブルにし、管理を容易にします。

特定のお客様を除いて、新たなDatabricksアカウントはE2プラットフォーム上に作成されます。お持ちのアカウントがE2かどうか分からない場合には、Databricks担当までお問い合わせください。

Databricks 無料トライアル

Databricks 無料トライアル