📚 関連書籍
※この記事は書籍の一部をベースに再構成しています。もう少し踏み込んだ内容（設計や具体例）は書籍の中でまとめているので、気になる方はそちらもどうぞ。
####『ゼロから触ってわかった！dbt実務入門 非公式ガイド SQLで作るモダンデータ変換・テスト・ドキュメント・セマンティックレイヤー』
本書は、dbtをこれから学びたい方、SQLを使ったデータ変換をより体系的に管理したい方、データ基盤やモダンデータスタックに関心がある方に向けて書いた入門書です。
https://amzn.to/3SmxlJz
dbt Coreとdbt Cloud ― 学習と実務ではどちらを選ぶべきか ―
1. dbtには大きく2つの使い方がある
dbtを学び始めると、最初に出てくるのが dbt Core と dbt Cloud という2つの選択肢です。
どちらもdbtであることに変わりはありません。
- SQLでmodelを作成する
-
ref関数でmodel間の依存関係を管理する -
testでデータ品質を確認する -
docsでドキュメントを生成する - Gitで変更履歴を管理する
このようなdbtの基本的な考え方は、dbt Coreでもdbt Cloudでも共通しています。
両者の違いを簡単に整理すると、次のようになります。
- dbt Core：自分で実行環境を用意して使う
- dbt Cloud：クラウド上の統合環境を利用する
dbt Coreは、コマンドラインから実行するオープンソースのdbtです。ローカルPCやサーバー、CI/CD環境などにインストールして利用します。
一方、dbt Cloudは、ブラウザ上の開発環境、ジョブ実行、スケジュール管理、実行ログ、通知、権限管理、チーム開発支援などを備えたマネージドサービスです。
つまり、dbt Coreはdbtの実行エンジンそのものに近く、dbt Cloudはdbtをチームで開発・運用しやすくするための統合サービスと考えるとわかりやすいでしょう。
2. dbt Coreとは何か
dbt Coreは、自分のローカルPCやサーバーなどにインストールして使用するオープンソース版のdbtです。
開発者はVisual Studio CodeなどのエディタでSQLファイルやYAMLファイルを編集し、ターミナルからコマンドを実行します。
代表的なコマンドには、次のようなものがあります。
-
dbt run：modelを実行する -
dbt test：データ品質テストを実行する -
dbt build：model、test、snapshotなどをまとめて実行する -
dbt docs generate：ドキュメントを生成する -
dbt docs serve：生成したドキュメントをローカルで表示する
dbt Coreの大きな魅力は、dbtの仕組みを理解しやすいことです。
自分のPC上でプロジェクトを作成し、profiles.ymlにデータウェアハウスへの接続情報を設定し、コマンドを実行することで、dbtがどのように動作するのかを体感できます。
具体的には、次のような流れを確認できます。
- dbtがデータウェアハウスへ接続する
- SQLファイルからmodelを作成する
-
refをもとに実行順序を決定する - testを実行してデータ品質を確認する
- 実行結果やメタデータを
targetディレクトリへ出力する
また、dbt Coreはオープンソースで提供されているため、個人学習や小規模な検証を始めやすい点も魅力です。
すでにPython、Git、CLIなどに慣れている人であれば、dbt Coreから始めることで、dbtの内部構造や実行の流れを深く理解できます。
ただし、dbt Coreだけで本番運用を行う場合は、周辺の仕組みを自分たちで用意しなければなりません。
たとえば、次のような機能です。
- 定期実行
- ジョブ管理
- 実行ログの保存と監視
- 失敗時の通知
- ユーザーや権限の管理
- CI/CD
- 開発環境と本番環境の分離
- ドキュメントの公開
- シークレットや認証情報の管理
これらはdbt Coreだけで完結するものではありません。
実務では、GitHub Actions、GitLab CI/CD、Airflow、Dagster、Cloud Composer、Azure DevOps、各クラウドのジョブ管理サービスなどと組み合わせて構築します。
自由度が高い一方で、実行基盤や運用設計を自分たちで考える必要がある点が、dbt Coreの特徴です。
3. dbt Cloudとは何か
dbt Cloudは、dbtをクラウド上で開発・実行・運用するためのマネージドサービスです。
ブラウザ上に開発環境が用意されており、SQLやYAMLを編集しながらGitリポジトリと連携して開発できます。
また、作成したdbtプロジェクトをジョブとして登録し、スケジュールに従って定期実行することもできます。
dbt Cloudには、dbtのチーム開発や本番運用を支援する機能がまとめられています。
- ブラウザベースの開発環境
- Gitリポジトリとの連携
- ジョブのスケジュール実行
- 実行履歴とログの確認
- ジョブ失敗時の通知
- 開発環境と本番環境の管理
- ユーザーと権限の管理
- CIによる変更内容の検証
- ドキュメントの生成と公開
- チーム開発を支援する各種機能
dbt Cloudの大きな利点は、dbtの運用に必要な機能が最初からまとまっていることです。
個人で試すだけであれば、ローカルPCでdbt Coreを動かすだけでも十分です。
しかし、チームで本番運用を始めると、次のような論点が増えていきます。
- 誰がどの環境でmodelを実行するのか
- 本番ジョブをいつ実行するのか
- ジョブが失敗した場合に誰へ通知するのか
- 開発環境と本番環境をどのように分けるのか
- 変更内容を誰がレビューするのか
- 本番環境へ反映する条件をどう決めるのか
- 実行ログをどこで確認するのか
- 利用者ごとの権限をどのように管理するのか
dbt Cloudは、こうした実務運用の負担を減らすための選択肢です。
特に、データチームの人数が増え、複数人でmodelを開発し、定期的に本番ジョブを実行するようになると、dbt Cloudの価値は大きくなります。
データエンジニアだけでなく、アナリティクスエンジニアやデータアナリストもdbt開発に参加する場合、ブラウザ上で開発できる統合環境は大きな助けになるでしょう。
4. dbt Coreとdbt Cloudの違い
dbt Coreとdbt Cloudの違いは、dbtの基本機能ではなく、主に実行環境と運用機能にあります。
| 比較項目 | dbt Core | dbt Cloud |
|---|---|---|
| 提供形態 | オープンソース | マネージドサービス |
| 開発環境 | ローカルエディタや任意のIDE | ブラウザ上の開発環境 |
| 実行方法 | CLIからコマンド実行 | 画面操作またはジョブ実行 |
| 環境構築 | 自分で用意する | クラウド上に用意される |
| スケジュール実行 | 外部ツールとの連携が必要 | 標準機能として利用可能 |
| ログ管理 | 自分で設計する | 画面上で確認可能 |
| 通知 | 外部サービスとの連携が必要 | ジョブ通知機能を利用可能 |
| CI/CD | 自分で構築する | CI機能を利用可能 |
| 権限管理 | 周辺システムで管理する | サービス上で管理可能 |
| 自由度 | 高い | 標準化しやすい |
| 主な用途 | 学習、検証、独自基盤への組み込み | チーム開発、本番運用 |
dbt Coreは自由度が高く、自分たちの既存環境へ組み込みやすいというメリットがあります。
一方、dbt Cloudは運用機能が統合されているため、環境構築やジョブ管理の負担を減らしやすいという特徴があります。
どちらが優れているというよりも、チームの体制や運用方針によって適した選択肢が変わります。
5. 学習ではどちらを選ぶべきか
学習目的であれば、dbt Coreとdbt Cloudのどちらから始めても問題ありません。
dbtの基本構造を深く理解したい場合は、dbt Coreから始めるのがおすすめです。
コマンドラインからdbtを実行することで、次のようなプロジェクト構造を自然に理解できます。
dbt_project.ymlprofiles.yml-
modelsディレクトリ -
seedsディレクトリ -
snapshotsディレクトリ -
macrosディレクトリ -
testsディレクトリ -
targetディレクトリ manifest.jsonrun_results.json
どの設定ファイルが何を管理しているのか、dbtの実行時にどのようなファイルが生成されるのかを確認できるため、仕組みへの理解が深まります。
一方、環境構築に時間をかけず、まずは画面上でdbtの流れを体験したい場合は、dbt Cloudから始める方がスムーズです。
ブラウザ上で開発できるため、ローカルPCのPython環境、仮想環境、パッケージ管理、接続設定などでつまずきにくいというメリットがあります。
- CLIやPython環境に慣れている人：dbt Core
- 環境構築を省略して始めたい人：dbt Cloud
- dbtの内部構造を理解したい人：dbt Core
- チーム運用の流れを体験したい人：dbt Cloud
ただし、どちらを選んでも学ぶべき中心は同じです。
- model
- source
- test
- docs
ref- materialization
- macro
- snapshot
- Gitによる変更管理
dbt Coreとdbt Cloudの画面や操作方法だけを覚えるのではなく、dbtがデータ変換をどのように管理するツールなのかを理解することが重要です。
6. 実務ではどちらを選ぶべきか
実務での選び方は、チームの体制、既存システム、予算、運用方針によって変わります。
小規模な検証、個人での利用、既存のCI/CD基盤への組み込みを重視する場合は、dbt Coreが向いています。
dbt Coreでは、自分たちで実行環境やジョブ管理の仕組みを設計できるため、既存のデータ基盤や運用ルールに合わせた柔軟な構成を作れます。
たとえば、すでにAirflowやDagsterでデータパイプラインを管理している場合、そのワークフローの中からdbt Coreを呼び出す構成が考えられます。
また、GitHub Actionsなどを使ってCI/CD環境が整備されている組織であれば、既存の開発フローにdbt Coreを組み込むこともできます。
一方、チームでdbtを標準的に運用したい場合や、ジョブ管理、通知、開発環境、権限管理などをまとめて整えたい場合は、dbt Cloudが向いています。
特に、次のような組織ではdbt Cloudが有力な選択肢になります。
- 複数人でdbtプロジェクトを開発する
- データアナリストもmodel開発に参加する
- 本番ジョブを定期的に実行する
- ジョブ失敗時の通知を標準化したい
- 開発環境と本番環境を明確に分けたい
- Pull Requestごとに変更内容を検証したい
- 実行履歴やログを一元管理したい
- 運用基盤の構築負担を減らしたい
ただし、dbt Cloudを導入すれば、すべての設計が自動的に完成するわけではありません。
次のような設計は、dbt Coreでもdbt Cloudでも必要です。
- modelをどの単位で分けるか
- staging、intermediate、martsをどう設計するか
- modelやカラムの命名規則
- テストをどこまで実装するか
- Gitのブランチ戦略
- Pull Requestのレビュールール
- 開発環境と本番環境の分離
- 本番反映の承認フロー
- エラー発生時の対応手順
- ドキュメントの更新ルール
dbt Cloudは運用を支援してくれますが、データ変換の設計やチームの開発ルールまで自動的に決めてくれるものではありません。
ツールの機能と、チームが決めるべき設計を分けて考えることが重要です。
7. dbt Coreとdbt Cloudは対立するものではない
dbt Coreとdbt Cloudを、完全に別の製品として考える必要はありません。
dbt Cloudでも、中心にあるのはdbtのmodelやtest、SQLによるデータ変換です。
また、チームによっては、ローカル開発ではdbt Coreを使用し、本番ジョブの実行や管理にはdbt Cloudを利用することもあります。
たとえば、開発者がローカル環境で次のコマンドを実行します。
[
dbt build --select my_model+
]
変更内容をGitリポジトリへpushし、Pull Requestを作成します。
その後、dbt CloudのCI機能で変更対象のmodelを検証し、レビューとマージが完了したら、本番ジョブをdbt Cloudから実行するという流れです。
このように、dbt Coreとdbt Cloudは必ずしも二者択一ではありません。
- ローカル開発ではdbt Core
- CIや本番ジョブ管理ではdbt Cloud
- 独自のオーケストレーターからdbt Coreを実行
- チーム全体の標準環境としてdbt Cloudを利用
目的やチームの成熟度に応じて、柔軟に組み合わせることができます。
8. どちらを選んでもdbtの本質は同じ
dbt Coreとdbt Cloudの違いは、実行環境や運用機能の違いです。
しかし、dbtの本質は変わりません。
- SQLで変換処理を書く
- SQLをmodelとして管理する
-
refで依存関係を表現する -
sourceで入力データを定義する -
testでデータ品質を確認する -
docsでドキュメント化する - Gitで変更履歴を管理する
- レビューを通して安全に本番へ反映する
この基本思想は、dbt Coreでもdbt Cloudでも共通です。
そのため、学習段階では「どちらが正解なのか」で悩みすぎる必要はありません。
まずはdbtの考え方を理解することが重要です。
dbt Coreで始めても、dbt Cloudで始めても、最終的に学ぶべき中心は、SQLによるデータ変換をどのように設計し、品質を担保し、チームで継続的に運用するかという点です。
dbt Coreは、dbtの仕組みを理解するための入り口として優れています。
dbt Cloudは、dbtをチームで開発・運用するための実務的な選択肢です。
9. まとめると
dbt Coreとdbt Cloudには、実行環境や運用機能に違いがあります。
dbt Coreは、ローカルPCやサーバーへインストールし、コマンドラインから実行するオープンソースのdbtです。
自由度が高く、dbtの仕組みを深く理解しやすい一方で、ジョブ管理、スケジュール実行、監視、通知、CI/CDなどの周辺機能は自分たちで用意する必要があります。
dbt Cloudは、ブラウザ上の開発環境、ジョブ管理、スケジュール実行、ログ、通知、権限管理、CIなどを備えたマネージドサービスです。
チーム開発や本番運用を標準化しやすく、運用基盤を自分たちで構築する負担を減らせます。
ただし、どちらを選んでも、model設計、テスト方針、命名規則、Git運用、環境分離などの設計は必要です。
dbt Coreとdbt Cloudは対立するものではありません。
- dbt Coreは、dbtの仕組みを理解し、自由に実行環境を構築するための選択肢
- dbt Cloudは、dbtをチームで継続的に開発・運用するための選択肢
大切なのは、ツールの違いだけではなく、SQLによるデータ変換をどのように管理し、品質を担保し、継続的に改善していくかを理解することです。
まずは自分の学習目的やチームの運用体制に合った方法を選び、model、source、test、docs、refなどの共通概念から理解を深めていきましょう。
📚 関連書籍
※この記事は書籍の一部をベースに再構成しています。もう少し踏み込んだ内容（設計や具体例）は書籍の中でまとめているので、気になる方はそちらもどうぞ。
Databricks／Snowflake／n8n／Salesforce／AI基盤e／POC／要件定義の進め方 を体系的に学べる
「ゼロから触ってわかった！」シリーズをまとめました。
『ゼロから触ってわかった！Microsoft Fabric実務入門 データ統合・分析・BI・AI活用の全体像 』
『ゼロから触ってわかった！ Databricks 本番導入完全ガイド（非公式） ― Serverless・Lakeflow・AI時代のデータ基盤実践 ― 』
『Databricks──ゼロから触ってわかった！Databricks非公式ガイド（2026年更新版）』
クラウド時代の分析基盤を “体験的” に学べるベストセラー入門書。
Databricksの操作、SQL／DataFrame、Delta Lakeの基本、ノートブック操作、SDP（宣言型パイプライン）
Serverless、Genieなどを初心者でも迷わず進められる構成で解説しています。
https://amzn.to/4uIqEj4
『ゼロから触ってわかった！ Snowflake × Databricks次世代データ基盤PoC実践 非公式ガイド』
本書を読み終えたとき、「POCって何から始めればよいのか」が明確になり、「自分たちにもできる」という確信を持てることを目指しています。
https://amzn.to/43qI0oR
『ゼロから触ってわかった！ Snowflake × Databricksでつくる次世代データ基盤 - 比較・共存・連携 非公式ガイド』
SnowflakeとDatabricks――二つのクラウドデータ基盤は、これまで「どちらを選ぶか」で語られることが多くありました。本書は、両プラットフォームをゼロから触り、構築・運用してきた実体験をもとに、比較・共存・連携のリアルを丁寧に解説する“非公式ガイド”です。
https://amzn.to/4efDkIk
Snowflake
ゼロから触ってわかった！Snowflake非公式ガイド ― 基礎から理解するアーキテクチャとCortexによる次世代AI基盤
初めてSnowflakeに触れる方には「最初の一冊」として。
なんとなく使っているけれどモヤモヤしている方には「頭の中を整理する一冊」として。
AI時代のエンジニアを目指すための、確かな燃料となる一冊です。
https://amzn.to/4x1VvZm
「ゼロから触ってわかった！Codex - AIエージェント時代のソフトウェア設計」
本書は、AIエージェントと共に開発する時代において、エンジニアが思考停止せず、主体的に価値を発揮し続けるための指針を提示します。
ツールの使い方ではなく、これからの開発の本質を理解したいすべてのエンジニアへ。
https://amzn.to/4o0repH
「ゼロから触ってわかった！ Claude Code × ChatGPT × Gemini AI共生戦略 -“対立”ではなく“共生”する時代へ」
Claude Code × ChatGPT × Geminiという共生モデルを解説します。
https://amzn.to/4a2dJjC
『ゼロから触ってわかった！スペック駆動開発入門 ― SaaS is dead？AI時代のソフトウェア設計論』
前半では思想や背景を丁寧に整理し、後半ではスペック・実装・実行の三層モデルをサンプルコードとともに具体化します。
https://amzn.to/3RFEZya
####『ゼロから触ってわかった！dbt実務入門 非公式ガイド SQLで作るモダンデータ変換・テスト・ドキュメント・セマンティックレイヤー』
本書は、dbtをこれから学びたい方、SQLを使ったデータ変換をより体系的に管理したい方、データ基盤やモダンデータスタックに関心がある方に向けて書いた入門書です。
https://amzn.to/3SmxlJz
Databricks
『ゼロから触ってわかった！Azure × Databricksでつくる次世代データ基盤 非公式ガイド ―』
クラウドでデータ基盤を作ろうとすると、Azure・Storage・ネットワーク・権限・セキュリティ…
そこに Databricks が加わった瞬間、一気に難易度が跳ね上がります。 “最初のつまづき” を丁寧にほどいていくのが本書です。
https://amzn.to/3QaOzbW
『Databricks──ゼロから触ってわかった！AI・機械学習エンジニア基礎 非公式ガイド』
Databricksでの プロンプト設計・RAG構築・モデル管理・ガバナンス を扱うAIエンジニアの入門決定版。
生成AIとデータエンジニアリングの橋渡しに必要な“実務の型”を体系化しています。
資格本ではなく、実務基盤としてAIを運用する力 を育てる内容です。
https://amzn.to/3PYK4ku
『Databricks認定データエンジニアプロフェッショナル 試験レベル ― 1日3分！気になったところから読めるデータブリックス！魂の100本ノック！』
本書は、Databricks認定データエンジニア・プロフェッショナル相当の論点を、
100個のユースケースに分解し、**“2択の検討”→“解説コラム”→“結論”**でテンポよく叩き込む「魂の100本ノック」です。
暗記ではなく、現場で遭遇する判断ポイント（取り込み・変換・品質・共有・監視・性能/コスト・セキュリティ・ガバナンス・デプロイ・モデリング）を、短い読書時間で反復できるように整えました。
https://amzn.to/4vkLm8K
https://amzn.to/4fhNBF5
Databricks Advancedシリーズ（上／中／下）
Databricksを “設計・運用する” ための完全版実践書
「ゼロから触ってわかった！Databricks非公式ガイド」の続編として誕生した Advancedシリーズ は、
Databricksを触って慣れた“その先”――本格運用・チーム開発・資格対策・再現性ある設計 に踏み込む構成です。
📘 ［上］開発・デプロイ・品質保証編
https://amzn.to/4dGQoGv
📘 ［中］取込・変換・監視・コスト最適化編
https://amzn.to/49zbPHb
📘 ［下］セキュリティ・ガバナンス・トラブルシュート・最適化戦略編
https://amzn.to/4efDkIk
「ゼロから触ってわかった！Databricks × Airbyte」
クラウド時代のデータ基盤を“なぜ難しいのか”から丁寧にほどくガイドが完成しました。
Ingestion / LakeFlow / DLT / CDC をやさしく体系化し、
Airbyte × Databricks の真価を引き出す設計思想まで詰め込んだ一冊です。
https://amzn.to/3XOlV0t
『Databricks──ゼロから触ってわかった！DatabricksとConfluent(Kafka)連携！非公式ガイド』
Kafkaによるストリーム処理とDatabricksを統合し、リアルタイム分析基盤を構築するハンズオン形式の一冊。
イベント駆動アーキテクチャ、リアルタイムETL、Delta Live Tables連携など、
モダンなデータ基盤の必須スキルがまとめられています。
https://amzn.to/42HdmqZ
Salesforce
『ゼロから触ってわかった！Salesforce AgentForce + Data360（Data 非公式ガイド』
Salesforceの最新AI基盤 AgentForce と Data360（Data Cloud） を、実際の操作を通じて理解できる解説書。
https://amzn.to/4u4PyZ2
要件定義（上流工程/モダンデータスタック）
『モダンデータスタック時代の シン・要件定義 クラウド構築大全 ― DWHからCDP、そしてMA / AI連携へ』
クラウド時代の「要件定義」って、どうやって考えればいい？
Databricks・Snowflake・Salesforce・n8nなど、主要サービスを横断しながら“構築の全体像”をやさしく解説！
DWHからCDP、そしてMA／AI連携まで──現場で使える知識をこの一冊で。
https://amzn.to/4nZm0ux
データメッシュ
####『ゼロから触ってわかった データメッシュ入門 ― 思想・型・組織構造から考えるデータメッシュ』
「Data Mesh を導入すべきかどうか」を断言する本ではありません。
自分たちにとって、どこまで分散し、何を共有し、どこに責任を置くのか。
その判断をするための思考の土台を整理する一冊です。
https://amzn.to/3REkyBS
データクリーンルーム
ゼロから触ってわかった データクリーンルーム実践入門 ～ Lakehouse時代のクリーンルームを、思想・設計・マネタイズで読み解く ～
データはあるのに、渡せない。それでも一緒に分析したい——そんな現場の悩みから、本書は始まります。
データクリーンルームを「難しい技術」ではなく、現実の業務でどう使い、どう続けるかという視点で整理しました。
非ITのビジネスパーソンにも読める、実践的な一冊です。
https://amzn.to/4fiG6O2
MCP
『ゼロから触ってわかった！MCPビギナーズガイド』 ― AIエージェント時代の次世代プロトコル入門 アーキテクチャ・ガバナンス・実装―
MCPというプロトコルは、単なる技術トレンドではなく
「AIとシステムの関係性」そのものを変える可能性を秘めています。
SaaS、AIエージェント、ガバナンス、アーキテクチャ、その交差点を一度、立ち止まって整理した一冊です。
https://amzn.to/4nZm0ux
n8n
『n8n──ゼロから触ってわかった！AIワークフロー自動化！非公式ガイド』
オープンソースの自動化ツール n8n を “ゼロから手を動かして” 学べる実践ガイド。
プログラミングが苦手な方でも取り組めるよう、画面操作中心のステップ構成で、
業務自動化・AI連携・API統合の基礎がしっかり身につきます。
👉 https://amzn.to/48Blxca
💡 まとめ：このラインナップで“構築者の視点”が身につく
これらの書籍を通じて、
クラウド基盤の理解 → 要件定義 → 分析基盤構築 → 自動化 → AI統合 → 運用最適化
までのモダンデータスタック時代のソリューションアーキテクトとしての全体像を
「体系的」かつ「実践的」に身につけることができます。
- PoC要件整理
- データ基盤の要件定義
- チーム開発／ガバナンス
- AIワークフロー構築
- トラブルシュート
など、現場で直面しがちな課題を解決する知識としても活用できます。