Launching dbt Cloud in Databricks Partner Connect - The Databricks Blogの翻訳です。
本書は抄訳であり内容の正確性を保証するものではありません。正確な内容に関しては原文を参照ください。
レイクハウスでのデータ変換をシンプルに
dbtプロジェクトを構築、管理、監視するための高速かつ最も信頼性のある方法であるdbt Cloudが、Databricks Partner Connectで利用できるようになったことを発表できて嬉しく思っています。ご自身のレイクハウスのデータを変換するために、dbtの業界標準のデータ変換フレームワークを使いたいと考えるユーザーは、数クリックでdbt CloudをDatabricksに接続できるようになり、既存アカウントをお持ちで無い場合にはフリートライアルをスタートすることも可能です。彼らは、DatabricksのPhoton高速化クラスターを活用しつつもdbt Cloudでデータモデルを開発、テスト、デプロイできるようになり、レガシーなクラウドデータウェアハウスよりもはるかに高速にデータ変換ワークフローを実行できるようになります。この最新のインテグレーションは最近発表したネイティブのdbt-databricksアダプターに続くものであり、我々はこれによって、Databricksがdbtプロジェクトを構築し、プロダクションに移行するための最適な場所になったと信じています。
数クリックでdbt CloudをDatabricksに接続
これまでは、dbt CloudからDatabricksへの接続にはクレディンシャルの転送を含む複数のステップが必要でした。Partner Connectを用いることで、データ取り込みからETL、ML/AIに関するパートナーのオファリングをレイクハウスにインテグレーションすることが容易になります。今では、Partner Connectを用いることで、dbt Cloudを試すために数クリックでシームレスな体験を得ることができます。このDatabricksとのインテグレーションは、セキュアにリソースを設定し、dbt Cloudもセットアップします。数分でDatabricks上で最初のdbtモデルを実行することができます。
dbt CloudとDatabrikcsを接続することで、SQLデータパイプライン、生データから後段の分析、BIユースケースで利用できるデータへの変換をオーケストレートするためにこれらを利用することができます。
dbt Cloudでコラボレーションを通じた開発を
皆様のデータチームが拡大するにつれて、dbtプロジェクトはより複雑なものになっていき、CI/CDをサポートし、データモデルを監視し、問題が起きた際にはアラートを受け取るようになる必要が出てきます。dbt Cloudは完全にホストされマネージドなコラボレーティブIDEを提供しており、インフラストラクチャを管理する必要なしに、新規メンバーがクイックにオンボーディングできるようになります。また、dbt CloudはCI/CD、堅牢なバージョン管理、ジョブスケジューリング、テスト、ドキュメントの提供、リネージュに関するターンキーのサポートを提供します。dbt Cloudは、SQLエンドポイントを含むDatabricksクラスターで実行できる標準SQLを生成します。
Databricksはdbtを実行するためのファーストクラスの場所です
我々はdbtのパワーに興奮しており、Databrikcレイクハウスをdbtモデルを実行するための素晴らしい場所にするために継続的に改善を行なっていきます。Databricksでのみ利用できるPhoton実行エンジンは、dbtによって生成されたSQLを自動で高速化、改善します。これは、お使いのデータモデルが高速に動作し、追加のコード変更や最適化が不要であることを意味します。さらに、データチームはdbtを使う際の既存のアクセスコントロールとガバナンスプロセスを使い続けることができ、よりスケーラブル、かつ、管理しやすくします。
dbt Cloudを活用しましょう
追加のコストなしにPartner Connectでdbt Cloudを利用できます。詳細に関しては、ハンズオンワークショップbuilding a modern data stack with dbt and Databricksにサインアップしてください。スクラッチからスケーラブルなデータ変換パイプラインを構築するためのステップバイステップのガイドをウォークスルーします。あるいは、Slackチャネル#db-databricks-and-sparkに参加してください。