dbt-databricksアダプターの提供

2021/12/6はdbtとDatabricksのユーザーにとって偉大な日になりました。我々の業界カンファレンスCoalesce 2021の初日であるだけではなく、dbt Coreで使用できる専用のdbt-databricksアダプターをDatabricksがリリースした日でもありました。Databricksチームはdbt Labsと連携して、dbt Labsのdbt-sparkアダプターが提供する基盤の上に構築し、いくつかの重要な改善を行いました。新たなアダプターは:

セットアップが簡単であり、
Databricksに適したデフォルト設定がされており、最も重要なこととして、
Unity Catalogをサポートしています。これは、dbtバージョン1.1以降と互換性があります。

Databricks共同創始者であるAli Ghosdiによる強力なコミットによって、dbtコミュニティ新たなアダプターが利用できる様になりました。

これらの見慣れないアダプターは、dbtが固有のウェアハウス、データレイク、クエリーエンジンに接続、処理できる様にすることを目的として設計されており、これは全体のワークフローにおいて重要なコンポーネントとなっています。

dbt Cloudにおけるdbt-databricksアダプター利用開始の発表

しばらくの間、我々はdbt-databricksアダプターに興奮していましたが、今ではdbt Cloudでも利用できる様になったことを発表できて、さらに興奮しています！

dbt Cloudは、dbtプロジェクトを開発、デプロイするための最も簡単かつ信頼できる手段です。より強力なすべてのパワーを提供しつつも、複雑性を取り除く役に立ちますので、DatabricksのUnity Catalogのサポートとより適したデフォルトのモデル設定によって、よりシンプルになったDatabricks接続体験を提供できることに興奮しています。

これは、dbt-sparkアダプタとdbt Cloudを既に使用している数百のDatabricksのお客さまにとっては素晴らしいニュースです。更なる価値を解放するために、自分等の接続設定をdbt-databricksに移行することができます。Databricksチームは今後もこのアダプターをメンテナンス、改善していくことにコミットしているので、dbtとDatabricksのベストな部分を提供する統合体験を確実にすることができます。

dbt-databricksは、機能性の違いはありますが、dbt Cloudで以下のバージョンのdbt Coreとの互換性があります。

dbtバージョン	利用可能な機能
1.3 (all)	dbt-databricksの容易なセットアップ、優れたデフォルト設定、Unity Catalog、Pythonモデルのサポート
1.2 (all)	dbt-databricksの容易なセットアップ、優れたデフォルト設定、Unity Catalog
1.1 (all)	dbt-databricksの容易なセットアップ、優れたデフォルト設定、Unity Catalog
1.0 (all)	dbt-databricksの容易なセットアップ、優れたデフォルト設定

移行プロセスを容易にするために、現時点ではdbt Cloudはdbt-sparkとdbt-databricksの両方から接続することができます。最終的にはdbt-spark経由でのDatabricks接続は廃止される予定です。すべてのプロジェクトがdbt-databricksで作成されるか、移行されることをお勧めします。dbt Cloudにおけるdbt-spark経由でのSparkへの接続は維持される予定です。

dbt-databricksの利点

それでは、なぜ我々はそんなにdbt-databricksに興奮しているのでしょうか？そして、すでにdbt Cloudで利用できるsparkアダプターとの違いは何でしょうか？メリットには以下が含まれます：

dbt Cloudにおける信頼できるアダプターのエクスペリエンス

dbt Coreが様々なウェアハウスに接続できるようにするオープンソースのdbtアダプターは多数存在しています。アダプターのいくつかはdbt Labsによってメンテナンスされておりdbt Cloudから利用することができます。その他のアダプターは、ベンダーパートナーや自身の成果を他人と共有したいと考えるコミュニティの良きサマリア人によってメンテナンスされています。想像できる様に、オープンソースのdbtアダプターの品質にはばらつきがあり、残念なことに、我々ではすべてが信頼できる体験を提供していることを検証できてはいません。

これまでは、dbt Cloudで利用できるすべてのアダプターはdbt Labsによって開発されたものでしたが、本日、Databricksチームによるアダプターを皮切りとして、dbt Labsによる検証が行われるパートナーがメンテナンスするアダプターをdbt Cloudで利用できる様にする第一歩を踏み出しました。我々は、dbtとDatabricksにおいて信頼できるファーストクラス体験として、この新たなアダプターが我々のバーを満足していることを確実にするために時間を費やしており、より多くのアダプターが同様のバーを満足できる様にするために、パートナーとより密接に取り組んでいくつもりです。これは、お客さまがdbt Cloudに期待することに対する大きな一歩です。dbt Cloudにおけるアダプターのメニューを拡張するために、データプラットフォームやdbt Cloudのお客様から非常に大きな興味が寄せられており、向こう数ヶ月を通じて、皆さまが今感じられている保証はそのままに、さらなる選択肢を提供する予定です。

Databricks 無料トライアル

Databricks 無料トライアル