Teradataホームページ掲載記事 Announcing Teradata on dbt Cloud [2025/02/12時点]の翻訳です。
Teradata on dbt Cloudとは？
データ変換ツール dbt (データ構築ツール) は、最新のデータ スタックの要です。広く採用されている dbt-teradata アダプターを基に、AI 向けの完全なクラウド分析およびデータプラットフォームである Teradata VantageCloud を含む Teradata プラットフォームが dbt Cloud と統合されたことをお知らせします。
dbt Cloud は、VantageCloud 環境内での dbt の使いやすさにおける自然な次のステップです。この統合により、データ パイプラインの作成と保守が容易になり、データ管理が改善され、チームが大規模なデータ変換を実行できるようになります。
dbt Cloud は、次の機能を提供することで、データおよび分析エンジニアが分析ワークフローの開発、実装、保守を行う際の生産性を高めます。
- 完全に管理されたインフラストラクチャ
これにより、ローカルでのセットアップとメンテナンスが不要になり、チームは時間のかかる運用タスクではなく分析タスクに集中できるようになります。 - Webベースのユーザーインターフェース
ユーザーは、SQL 以外のコードを記述せずにデータを変換できます。dbt Cloud には、日付の書式設定や増分ロードなどの反復タスクを自動化する組み込みのマクロとテンプレートが用意されており、ビジネス ユーザーは SQL に関する最小限の知識でより効率的に作業できます。 - スケジューラ
ユーザーは、dbt ジョブのスケジュールを設定し、組み込みのオーケストレーション ツールを使用してパフォーマンスを監視できるため、大規模なデータ変換の自動化と管理が容易になります。 - Gitバージョン管理
dbt Cloud は、バージョン管理と共同ワークフローのために Git とシームレスに統合されます。複数のユーザーが同時に同じモデルで作業し、変更を追跡し、CI/CD パイプラインを実行して、品質と信頼性を確保できます。 - セキュリティ/プロジェクトガバナンス/アラート
ロールベースのアクセス制御 (RBAC)、ログ記録、監査証跡、アラートなどの高度な機能により、dbt Cloud は厳格なガバナンス ニーズを持つ大規模な組織に適しています。 - データガバナンスとコラボレーションツール
dbt Cloud は、プロジェクト間の系統とデータ共有を可能にし、メトリックとディメンションを定義し、他のデータ ツールやプロセスとの統合を容易にするための dbt Mesh、Semantic Layer、および Cloud API を提供します。
Teradata + dbt Cloud : 究極のデータ管理および変換プラットフォーム
エンタープライズ グレードの信頼性と堅牢なセキュリティおよびガバナンス標準を備えた複雑な大規模データセットを管理する Teradata の能力と、生データを実用的な洞察に変える dbt の強力な変換ツールを組み合わせることで、比類のないデータ管理とアジャイル分析が可能になり、チームは大規模なデータ変換を行うことができます。
dbt Cloud の Web ベースの UI、CI/CD 自動化、スケジュール設定、および共同作業環境により、変換プロセスが簡素化され、チームは手作業の労力を減らして、より迅速かつ一貫性のある分析を提供できます。
Teradata と dbt Cloud は、最先端のデータ変換を備えたクラス最高のデータ管理を提供し、組織が分析と AI/ML イニシアチブを加速できるよう支援します。
Teradata を使用した dbt Cloud のデモを行う実践的なサンプル dbt プロジェクト
この統合を実験するためのサンプル プロジェクトを用意し、VantageCloud 内でデータ変換に dbt Cloud を活用する方法を示しました。
サンプル プロジェクトでは、データベース (ソース) からの生データをディメンション モデルに変換し、顧客データと購入データを分析用に準備する方法を紹介します。データ パイプラインは、dbt シードによる生データの取り込みから始まる複数のステージで構成されています。
データはステージング テーブルに取り込まれ、dbt モデルによって次のように変換されます。
- 年齢や国籍などの顧客データを要約し、人口統計分析とターゲットを絞ったマーケティング活動を促進します
- 製品購入頻度の集計を作成し、製品需要に関する洞察を提供して在庫とマーケティング戦略に役立てます
- 顧客の購入行動を時間の経過とともに分析し、購入傾向を明らかにして顧客ジャーニーを最適化します
プロジェクトのデータ フローは、以下の ERD 図に反映されています。特定の SQL 変換の詳細はこの記事の範囲外ですが、付属の dbt プロジェクト リポジトリで調べることができます。
前提条件
この例に従うには、次のものが必要です:
- dbt Cloud アカウント
- VantageCloud インスタンスへのアクセス (無料でプロビジョニングできます)
クイックスタートガイド
クイックスタートガイドには以下の詳細な手順が記載されています
- 新しい dbt Cloud プロジェクトの作成
- dbt Cloud から VantageCloud 環境への接続
- dbt Cloud 環境の構成
- dbt Cloud での GitHub リポジトリの設定
- dbt Cloud のクラウド統合開発エクスペリエンス (IDE) での dbt プロジェクトの開発と実行
ガイドに従ってプロジェクト、接続、環境を設定したら、IDE を体験できます。
dbt Cloud IDE から dbt プロジェクトを実行する
- 以下に dbt Cloud IDE が表示されます。ダッシュボード (すべてのプロジェクトを表示)、開発ページ (すべてのプロジェクト固有のモデルにアクセスできます)、デプロイメント (すべてのジョブ、環境、データ ソースが見つかります) にアクセスできます。サポート、ヘルプ/ガイド、アカウント設定などの他の機能にもアクセスできます。
2.「開発」タブから「ファイル エクスプローラー」セクションにアクセスしてプロジェクトを参照します。Cloud IDE コマンド バーを使用してプロジェクトをビルド、テスト、実行します。
3.プロジェクトを実行する環境を作成して実行すると、ジョブが開始されます。ジョブのさまざまな段階と実行時間を表示できます。これらの概要を展開すると、ダウンロード可能なコンソール ログとデバッグ ログにアクセスできます。
4.その後、dbt を使用して変換されたテーブルを分析や AI/ML のユースケースに使用できます。
データから実用的な洞察を引き出す
VantageCloud と dbt Cloud の統合により、データおよび分析エンジニアはワークフローを効率化し、データから実用的な洞察をより効率的に引き出すための強力なツール セットを利用できるようになります。
クラウド UI、ジョブ スケジューリング、アラート、ブラウザベースの開発、CI/CD 統合、環境管理の導入により、チームはデータの変換と展開をより容易かつ確実に処理できるようになります。組織がデータ主導型になり、効率的で自動化されたデータ ワークフローを必要とするようになる中、これらの進歩は非常に重要です。
これらの強力なツールを活用して、データ分析と AI イニシアチブを強化しましょう。
おわりに
警告
この本書はTeradata Vantageドキュメンテーションよりトピックに必要な情報を抜粋したものです。掲載内容の正確性・完全性・信頼性・最新性を保証するものではございません。正確な内容については、原本をご参照下さい。
また、修正が必要な箇所や、ご要望についてはコメントをよろしくお願いします。