こちらでDatabricksのマネージドPostgresデータベースであるLakebaseが発表されました。
注意
この機能は、us-east-1、us-west-2、eu-west-1、ap-southeast-1、ap-southeast-2、eu-central-1、us-east-2、ap-south-1の各地域でパブリック プレビュー段階です。
Lakebaseとは
Databricks Lakebaseは、Databricks Data Intelligence Platform に統合されたPostgres OLTP(オンライン・トランザクション処理)エンジンです。従来のデータベースとは異なり、レイクハウスアーキテクチャの中でトランザクション処理を実現するソリューションです。
マニュアルはこちら。
Lakebaseの主要な特徴
| 特徴 | 詳細 |
|---|---|
| フルマネージドストレージ | Databricksが管理するストレージに格納 |
| Postgresベース | 既存のPostgresスキルを活用可能 |
| レイクハウス統合 | OLTPとOLAP(分析処理)の完全統合 |
| コンピュート分離 | ストレージとコンピュートを独立して管理 |
メリット、嬉しさ
1. アプリケーション開発の大幅な簡素化
従来のシステムでは、OLTPデータベースとデータウェアハウスを別々に管理する必要がありました。Lakebaseを使用することで、これらを統一プラットフォームで管理できます。
2. AI・ML機能との完全統合
| 統合機能 | 活用例 |
|---|---|
| Feature Store | 特徴量の管理と配信 |
| Model Serving | リアルタイムモデル推論 |
| RAG | 検索拡張生成による高度な回答 |
3. 運用コストの削減
- インフラ管理の簡素化: 単一のプラットフォームで管理
- スケーラビリティの向上: 需要に応じた自動スケーリング
- 運用監視の一元化: Databricksの統一管理画面
4. 業界別の具体的メリット
電子商取引
- 顧客セグメントに基づくリアルタイムレコメンデーション
- 在庫状況に応じた動的価格設定
金融サービス
- ストリーミングデータによる自動取引判断
- リアルタイム詐欺検知
製造業
- IoTデータによる予知保全
- 品質管理の自動化
使い方
有効化
プレビューでLakebase: Managed PostgreSQL OLTP Databaseをオンにします。
データベースインスタンスの作成
はじめに、データベースインスタンスを作成する必要があります。コンピュートにアクセスして、データベースのインスタンスタブを開き、データベースのインスタンス作成をクリックします。
インスタンス名とサイズを指定して作成をクリックします。
これでインスタンスが作成されました。
Unity Catalogからのデータの同期
こちらにあるように、Unity Catalogで管理されているテーブルをデータベースインスタンスに同期させることができます。
同期したいテーブルにアクセスし、作成 > 同期テーブルを選択します。
同期テーブルの名前を指定し、データベースインスタンスを選択し、同期先のPostgreSQLデータベース名を入力して、Confirmをクリックします。
同期がスタートします。
同期が完了しました。
テーブルへのクエリー
データベースインスタンスにアクセスし、右上の新しいクエリーをクリックします。
クエリーエディタが開くので、直接テーブルにクエリーすることができます。
Unity Catalogへの登録
データベースインスタンスをUnity Catalogに登録することで、の3レベルの名前空間で管理することができます。これによって、UCのアクセスコントロールを適用することができます。
データベースインスタンスにアクセスし、カタログタブを開きます。UCにおけるカタログ名とデータベース名を指定し、新規にデータベースを作成するかどうかを指定します。
カタログエクスプローラからデータベースを確認することができます。
まとめ
Databricks Lakebaseは、従来のOLTPデータベースとデータレイクハウスの境界を取り払う革新的なソリューションです。Postgresベースの親しみやすさと、Databricksの強力なAI・ML機能を組み合わせることで、アプリケーション開発から分析まで一気通貫で実現できます。