CDC／Change Data Feed／Snowflake Streamsの比較
📚 関連書籍
『ゼロから触ってわかった！ Snowflake × Databricksでつくる次世代データ基盤 - 比較・共存・連携 非公式ガイド』
SnowflakeとDatabricks――二つのクラウドデータ基盤は、これまで「どちらを選ぶか」で語られることが多くありました。
しかし、実際の現場では「どう共存させるか」「どう連携させるか」が、より重要なテーマになりつつあります。
本書は、両プラットフォームをゼロから触り、構築・運用してきた実体験をもとに、比較・共存・連携のリアルを丁寧に解説する“非公式ガイド”です。
🧊 Snowflake Streams：SQLだけで“差分だけを見る”仕組み
Snowflake Streamsは、Snowflake内部で発生した
INSERT／UPDATE／DELETE の差分だけを取得できる機能 です。
特徴はとてもシンプルで、
- 追加のログテーブル不要
- SQLで
select * from <stream>と読むだけ - 差分は自動クリア（読み取り後に消費）
- Tasksと組み合わせてパイプライン化できる
Snowflakeの思想そのままに
「アナリストでも扱いやすく、シンプルなCDC」
になっています。
用途としては、
- STG への差分反映
- マート更新
- 軽いSCD処理
など、差分だけをすぐ扱いたいシナリオに最適です。
大きな流量ではなく、“Snowflake内部の変化を軽量に追いかける” 役割と考えると理解しやすいです。
🔥 Databricks Change Data Feed：Delta Lakeの“履歴を正確に追跡”
DatabricksのChange Data Feed（CDF）は、
Deltaテーブルに対する変更履歴を詳細に記録し、差分として扱える仕組み です。
CDFの魅力は以下の通り：
- UPDATE／DELETE／MERGE を正確に追跡
- 差分データに
_change_type付きでアクセス - Structured Streaming と統合
- DeltaのTime Travelと連携可能
これにより、
・ETL
・ストリーム処理
・SCD Type2
・MLの特徴量更新
など、複雑な履歴管理が必要なワークロード に強いです。
Databricksはレイクハウス上で多様な種類の更新処理が流れるため、
「いつ・どのデータが・どう変わったか」を正確に追いかけるCDFが非常に重要になります。
⚡ CDC（Change Data Capture）：取り込み前の“外部DB側”の差分取得
一般的にCDCは、
ソースDB側のログ（binlog／redo log／transaction log）を解析して差分を取得する仕組み を指します。
Snowflake Streams や Delta CDF と混同されがちですが、
明確に役割が違います：
- CDC＝ソースDBの変更ログ取得（外部）
- Streams＝Snowflake内部の差分
- CDF＝Deltaテーブル内部の差分
つまりCDCは“取り込み前”の段階で差分を検出し、
Snowflake・Databricksは“取り込み後の差分”を扱います。
CDCはAirbyte・Fivetran・Debeziumなどで構成されることが多く、
クラウド基盤側の差分機能とはあくまで別レイヤーと考えるべきです。
⚡ 両者の最も大きな違いと“使い分け”
Streams と CDF は似て見えて、狙いが少し違います。
● Snowflake Streams
- 差分だけをすぐ取り込みたい
- SQLで軽量なCDCを実現したい
- STGやマート更新をシンプルにしたい
● Databricks CDF
- 履歴管理が複雑
- SCD Type2を厳密に実施したい
- バッチ／ストリーム／MLの連携が必須
● CDC（ソースDB側）
- Snowflake／Databricksに届く前の差分検出
- 取込前段のETLレイヤーで使用
- 外部DBの更新を逃さず拾うための基盤
実務では以下のように役割分担されます：
- 外部DB → CDC
- レイク（Delta） → CDF
- Snowflake内部 → Streams
この3つが連携すると、
変化点を逃さない安定したパイプライン が構築できます。
🧭 まとめる
- Streams＝Snowflake内部で差分を軽量に取得
- CDF＝Delta Lakeの履歴を正確に追跡
- CDC＝ソースDBのログを扱う外部の仕組み
似ているようで役割はまったく異なります。
“どこで変化を検出し、どこで履歴を管理するか” を決めることが
最適なパイプライン設計につながります。
📚 関連書籍
Databricks／n8n／Salesforce／AI基盤 を体系的に学べる「ゼロから触ってわかった！」シリーズをまとめました。
Databricks
『Databricks──ゼロから触ってわかった！Databricks非公式ガイド』
クラウド時代の分析基盤を “体験的” に学べるベストセラー入門書。
Databricksの操作、SQL／DataFrame、Delta Lakeの基本、ノートブック操作などを
初心者でも迷わず進められる構成で解説しています。
https://www.amazon.co.jp/dp/B0FBGH8PQF
『ゼロから触ってわかった！Azure × Databricksでつくる次世代データ基盤 非公式ガイド ―』
クラウドでデータ基盤を作ろうとすると、Azure・Storage・ネットワーク・権限・セキュリティ…そこに Databricks が加わった瞬間、一気に難易度が跳ね上がります。
「結局どこから理解すればいいの？」
「Private Link むずかしすぎない？」
「Unity Catalog って実務ではどう扱うの？」
——そんな “最初のつまづき” を丁寧にほどいていくのが本書です。
👉 https://amzn.to/4ocWcJI
『Databricks──ゼロから触ってわかった！DatabricksとConfluent(Kafka)連携！非公式ガイド』
Kafkaによるストリーム処理とDatabricksを統合し、リアルタイム分析基盤を構築するハンズオン形式の一冊。
イベント駆動アーキテクチャ、リアルタイムETL、Delta Live Tables連携など、
モダンなデータ基盤の必須スキルがまとめられています。
『Databricks──ゼロから触ってわかった！AI・機械学習エンジニア基礎 非公式ガイド』
Databricksでの プロンプト設計・RAG構築・モデル管理・ガバナンス を扱うAIエンジニアの入門決定版。
生成AIとデータエンジニアリングの橋渡しに必要な“実務の型”を体系化しています。
資格本ではなく、実務基盤としてAIを運用する力 を育てる内容です。
『ゼロから触ってわかった！ Snowflake × Databricksでつくる次世代データ基盤 - 比較・共存・連携 非公式ガイド』
SnowflakeとDatabricks――二つのクラウドデータ基盤は、これまで「どちらを選ぶか」で語られることが多くありました。
しかし、実際の現場では「どう共存させるか」「どう連携させるか」が、より重要なテーマになりつつあります。
本書は、両プラットフォームをゼロから触り、構築・運用してきた実体験をもとに、比較・共存・連携のリアルを丁寧に解説する“非公式ガイド”です。
🧠 Advancedシリーズ（上／中／下）
Databricksを “設計・運用する” ための完全版実践書
「ゼロから触ってわかった！Databricks非公式ガイド」の続編として誕生した Advancedシリーズ は、
Databricksを触って慣れた“その先”――本格運用・チーム開発・資格対策・再現性ある設計 に踏み込む構成です。
Databricks Certified Data Engineer Professional（2025年9月改訂版）のカリキュラムをベースに、
設計思考・ガバナンス・コスト最適化・トラブルシュートなど、実務で必須の力を養えます。
📘 ［上］開発・デプロイ・品質保証編
📘 ［中］取込・変換・監視・コスト最適化編
📘 ［下］セキュリティ・ガバナンス・トラブルシュート・最適化戦略編
n8n
『n8n──ゼロから触ってわかった！AIワークフロー自動化！非公式ガイド』
オープンソースの自動化ツール n8n を “ゼロから手を動かして” 学べる実践ガイド。
プログラミングが苦手な方でも取り組めるよう、画面操作中心のステップ構成で、
業務自動化・AI連携・API統合の基礎がしっかり身につきます。
Salesforce
『ゼロから触ってわかった！Salesforce AgentForce + Data Cloud 非公式ガイド』
Salesforceの最新AI基盤 AgentForce と Data Cloud を、実際の操作を通じて理解できる解説書。
エージェント設計、トピック／アクション構築、プロンプトビルダー、RAG（検索拡張生成）など、
2025年以降のAI×CRMのハンズオン知識をまとめた一冊です。
要件定義（上流工程/モダンデータスタック）
『モダンデータスタック時代の シン・要件定義 クラウド構築大全 ― DWHからCDP、そしてMA / AI連携へ』
クラウド時代の「要件定義」って、どうやって考えればいい？
Databricks・Snowflake・Salesforce・n8nなど、主要サービスを横断しながら“構築の全体像”をやさしく解説！
DWHからCDP、そしてMA／AI連携まで──現場で使える知識をこの一冊で。
💡 まとめ：このラインナップで“構築者の視点”が身につく
これらの書籍を通じて、
クラウド基盤の理解 → 要件定義 → 分析基盤構築 → 自動化 → AI統合 → 運用最適化
までのモダンデータスタック時代のソリューションアーキテクトとしての全体像を
「体系的」かつ「実践的」に身につけることができます。
- PoC要件整理
- データ基盤の要件定義
- チーム開発／ガバナンス
- AIワークフロー構築
- トラブルシュート
など、現場で直面しがちな課題を解決する知識としても活用できます。