📚 関連書籍
※この記事は書籍の一部をベースに再構成しています。もう少し踏み込んだ内容（設計や具体例）は書籍の中でまとめているので、気になる方はそちらもどうぞ。
『ゼロから触ってわかった！ Databricks 本番導入完全ガイド（非公式） ― Serverless・Lakeflow・AI時代のデータ基盤実践 ― 』
『Databricks──ゼロから触ってわかった！Databricks非公式ガイド（2026年更新版）』
クラウド時代の分析基盤を “体験的” に学べるベストセラー入門書。
Databricksの操作、SQL／DataFrame、Delta Lakeの基本、ノートブック操作、SDP（宣言型パイプライン）
Serverless、Genieなどを初心者でも迷わず進められる構成で解説しています。
https://amzn.to/4uIqEj4
― Databricks Serverless時代の実行基盤を理解する ―
Databricksを使い始めると、多くの人が最初に迷うポイントがあります。
それは、**「ComputeとSQL Warehouseって何が違うの？」**という疑問です。
特に初学者は、
- 「どっちもクエリを実行するものでは？」
- 「Notebookはどっちを使うの？」
- 「Serverlessって結局何が変わったの？」
と混乱しやすい部分です。
以前のDatabricksでは、基本的に Cluster（現在のCompute）中心 の世界でした。
しかし現在は、SQL Warehouse や Serverless Compute が主流になりつつあり、考え方そのものが変わっています。
この節では、現在のDatabricks実行基盤を整理しながら、「何をどこで動かすのか」を理解していきます。
まず“Compute”とは何か
Databricksにおける Compute とは、簡単に言えば、"処理を実行するための計算基盤" です。
Notebookを動かす、ジョブを実行する、SQLを処理するなど、Databricks上の処理は必ず何らかのCompute上で動いています。
以前は、このComputeを Cluster と呼ぶことが一般的でした。
現在はUI上でも Compute という表現へ寄っていますが、実態としてはSpark実行環境です。
ここで重要なのは、"データを保存する場所"と"処理を実行する場所"は別 という点です。
例えば、
- Delta Table → 保存場所
- Compute → 実行場所
という役割分担になります。
これはクラウド時代の基本的な考え方です。
つまりDatabricksでは、ストレージよりも "Computeを使った時間" に対してコストが発生します。
Computeには大きく2種類ある
現在のDatabricksでは、実行基盤は大きく分けて次の2種類があります。
- 汎用Compute（Notebook／Job向け）
- SQL Warehouse（BI／SQL分析向け）
この違いを理解すると、Databricks全体が一気に分かりやすくなります。
汎用Computeとは何か
まず、一般的なComputeです。
これは主に、
- Notebook実行
- PySpark処理
- データ変換
- ETL／ELT
- 機械学習
- Streaming処理
などで使われます。
つまり、"データエンジニアや開発者向けの実行基盤" です。
例えば、
- Pythonを書く
- PySparkを書く
- Lakeflowを動かす
- データパイプラインを作る
といったケースで利用されます。
以前のDatabricksでは、ほぼすべての処理をこのCompute上で実行していました。
そのため、
- どのVMサイズにするか
- Worker数をどうするか
- Auto Scalingをどうするか
が大きなテーマでした。
しかし現在は、事情が大きく変わっています。
SQL Warehouseとは何か
一方で SQL Warehouse は、"SQL分析専用の実行基盤" です。
主に、
- BI接続
- Dashboard
- SQL Editor
- Genieによる自然言語分析
などで利用されます。
例えば、
- Power BI
- Tableau
- Looker
などのBIツールが接続する先は、多くの場合 SQL Warehouse です。
以前はNotebook用ClusterへBI接続することもありました。
しかし現在は、SQL Warehouseを利用するのが基本です。
理由はシンプルです。
SQL分析向けに最適化されているからです。
特に現在は、
- Photonエンジン
- Serverless実行
- 高同時実行性
- 高速起動
が大きく進化しています。
その結果、専用DWH製品に近い体験ができるようになっています。
ComputeとSQL Warehouseの違い
ここまでを整理すると、役割はかなり異なります。
ざっくり言えば、
Compute＝開発・ETL向け
SQL Warehouse＝分析向け
です。
例えば、
-
PySparkでデータ変換
→ Compute -
Lakeflowでパイプライン実行
→ Compute -
Power BI接続
→ SQL Warehouse -
Genieで自然言語分析
→ SQL Warehouse
という使い分けになります。
もちろん例外はありますが、初学者はまずこの考え方で理解すれば問題ありません。
Serverlessが変えたもの
現在のDatabricksを語るうえで外せないのが Serverless です。
以前のDatabricksでは、Compute起動に時間がかかることがよくありました。
例えば、クエリ実行まで数分待つことも珍しくありませんでした。
さらに、使っていなくてもClusterが起動し続け、無駄なコストが発生するケースもありました。
しかし現在は、Serverless Compute によって考え方が大きく変わっています。
Serverlessでは、
- 自動起動
- 自動スケール
- 自動停止
が前提です。
利用者はインフラを強く意識しなくても、必要な時だけComputeを使えるようになっています。
特に Serverless SQL Warehouse は現在の中心的な実行基盤です。
起動時間は非常に短く、使わなければ停止するため、以前よりコスト効率も高くなっています。
つまり現在は、"クラスタ管理の時代"から"利用最適化の時代"へ変わった と言えます。
Photonの存在も重要
現在のSQL Warehouseを語るうえで欠かせないのが Photon です。
Photonは、Databricks独自の高速クエリエンジンです。
簡単に言えば、"SQLを高速化する仕組み" です。
従来のSpark実行よりも高速になるケースが多く、
- 集計
- JOIN
- フィルタ処理
などで特に効果があります。
利用者は特別なコード変更をしなくても恩恵を受けやすく、現在では多くのServerless SQL Warehouseで標準的に使われています。
つまり現在のDatabricksでは、Serverless＋Photon が実行性能の中核になっているのです。
実務でどう使い分けるのか
ここで実務イメージを整理しましょう。
例えば、
-
CSVを取り込み、データ加工する
→ Compute -
Lakeflowでデータパイプラインを動かす
→ Compute -
BIダッシュボードを見る
→ SQL Warehouse -
Genieで自然言語分析を行う
→ SQL Warehouse
という使い分けになります。
つまり、"開発系はCompute、分析系はSQL Warehouse" と考えると理解しやすいです。
ただし現在はServerless化が進んでいるため、以前ほどCompute設計に悩む必要はなくなっています。
重要なのは、
「何を動かしたいのか」
から逆算することです。
現在のDatabricks実行基盤を理解する
ここまでを整理すると、現在のDatabricksでは実行基盤の考え方が大きく変わっています。
以前はCluster中心でした。
しかし現在は、
- Compute（開発／ETL）
- SQL Warehouse（分析）
- Serverless（自動化）
を組み合わせる世界になっています。
重要なのは、インフラそのものを意識することではなく、"どのワークロードをどこで実行するか" を理解することです。
この考え方が分かると、後続のLakeflow設計、FinOps、SQL最適化、Serverless戦略が一気に理解しやすくなります。
次節では、現在のDatabricksパイプライン設計の中心となる Lakeflowの全体像 を見ていきます。
📚 関連書籍
※この記事は書籍の一部をベースに再構成しています。もう少し踏み込んだ内容（設計や具体例）は書籍の中でまとめているので、気になる方はそちらもどうぞ。
Databricks／Snowflake／n8n／Salesforce／AI基盤e／POC／要件定義の進め方 を体系的に学べる
「ゼロから触ってわかった！」シリーズをまとめました。
『ゼロから触ってわかった！Microsoft Fabric実務入門 データ統合・分析・BI・AI活用の全体像 』
『ゼロから触ってわかった！ Databricks 本番導入完全ガイド（非公式） ― Serverless・Lakeflow・AI時代のデータ基盤実践 ― 』
『Databricks──ゼロから触ってわかった！Databricks非公式ガイド（2026年更新版）』
クラウド時代の分析基盤を “体験的” に学べるベストセラー入門書。
Databricksの操作、SQL／DataFrame、Delta Lakeの基本、ノートブック操作、SDP（宣言型パイプライン）
Serverless、Genieなどを初心者でも迷わず進められる構成で解説しています。
https://amzn.to/4uIqEj4
『ゼロから触ってわかった！ Snowflake × Databricks次世代データ基盤PoC実践 非公式ガイド』
本書を読み終えたとき、「POCって何から始めればよいのか」が明確になり、「自分たちにもできる」という確信を持てることを目指しています。
https://amzn.to/43qI0oR
『ゼロから触ってわかった！ Snowflake × Databricksでつくる次世代データ基盤 - 比較・共存・連携 非公式ガイド』
SnowflakeとDatabricks――二つのクラウドデータ基盤は、これまで「どちらを選ぶか」で語られることが多くありました。本書は、両プラットフォームをゼロから触り、構築・運用してきた実体験をもとに、比較・共存・連携のリアルを丁寧に解説する“非公式ガイド”です。
https://amzn.to/4efDkIk
Snowflake
ゼロから触ってわかった！Snowflake非公式ガイド ― 基礎から理解するアーキテクチャとCortexによる次世代AI基盤
初めてSnowflakeに触れる方には「最初の一冊」として。
なんとなく使っているけれどモヤモヤしている方には「頭の中を整理する一冊」として。
AI時代のエンジニアを目指すための、確かな燃料となる一冊です。
https://amzn.to/4x1VvZm
「ゼロから触ってわかった！Codex - AIエージェント時代のソフトウェア設計」
本書は、AIエージェントと共に開発する時代において、エンジニアが思考停止せず、主体的に価値を発揮し続けるための指針を提示します。
ツールの使い方ではなく、これからの開発の本質を理解したいすべてのエンジニアへ。
https://amzn.to/4o0repH
「ゼロから触ってわかった！ Claude Code × ChatGPT × Gemini AI共生戦略 -“対立”ではなく“共生”する時代へ」
Claude Code × ChatGPT × Geminiという共生モデルを解説します。
https://amzn.to/4a2dJjC
『ゼロから触ってわかった！スペック駆動開発入門 ― SaaS is dead？AI時代のソフトウェア設計論』
前半では思想や背景を丁寧に整理し、後半ではスペック・実装・実行の三層モデルをサンプルコードとともに具体化します。
https://amzn.to/3RFEZya
####『ゼロから触ってわかった！dbt実務入門 非公式ガイド SQLで作るモダンデータ変換・テスト・ドキュメント・セマンティックレイヤー』
本書は、dbtをこれから学びたい方、SQLを使ったデータ変換をより体系的に管理したい方、データ基盤やモダンデータスタックに関心がある方に向けて書いた入門書です。
https://amzn.to/3SmxlJz
Databricks
『ゼロから触ってわかった！Azure × Databricksでつくる次世代データ基盤 非公式ガイド ―』
クラウドでデータ基盤を作ろうとすると、Azure・Storage・ネットワーク・権限・セキュリティ…
そこに Databricks が加わった瞬間、一気に難易度が跳ね上がります。 “最初のつまづき” を丁寧にほどいていくのが本書です。
https://amzn.to/3QaOzbW
『Databricks──ゼロから触ってわかった！AI・機械学習エンジニア基礎 非公式ガイド』
Databricksでの プロンプト設計・RAG構築・モデル管理・ガバナンス を扱うAIエンジニアの入門決定版。
生成AIとデータエンジニアリングの橋渡しに必要な“実務の型”を体系化しています。
資格本ではなく、実務基盤としてAIを運用する力 を育てる内容です。
https://amzn.to/3PYK4ku
『Databricks認定データエンジニアプロフェッショナル 試験レベル ― 1日3分！気になったところから読めるデータブリックス！魂の100本ノック！』
本書は、Databricks認定データエンジニア・プロフェッショナル相当の論点を、
100個のユースケースに分解し、**“2択の検討”→“解説コラム”→“結論”**でテンポよく叩き込む「魂の100本ノック」です。
暗記ではなく、現場で遭遇する判断ポイント（取り込み・変換・品質・共有・監視・性能/コスト・セキュリティ・ガバナンス・デプロイ・モデリング）を、短い読書時間で反復できるように整えました。
https://amzn.to/4vkLm8K
https://amzn.to/4fhNBF5
Databricks Advancedシリーズ（上／中／下）
Databricksを “設計・運用する” ための完全版実践書
「ゼロから触ってわかった！Databricks非公式ガイド」の続編として誕生した Advancedシリーズ は、
Databricksを触って慣れた“その先”――本格運用・チーム開発・資格対策・再現性ある設計 に踏み込む構成です。
📘 ［上］開発・デプロイ・品質保証編
https://amzn.to/4dGQoGv
📘 ［中］取込・変換・監視・コスト最適化編
https://amzn.to/49zbPHb
📘 ［下］セキュリティ・ガバナンス・トラブルシュート・最適化戦略編
https://amzn.to/4efDkIk
「ゼロから触ってわかった！Databricks × Airbyte」
クラウド時代のデータ基盤を“なぜ難しいのか”から丁寧にほどくガイドが完成しました。
Ingestion / LakeFlow / DLT / CDC をやさしく体系化し、
Airbyte × Databricks の真価を引き出す設計思想まで詰め込んだ一冊です。
https://amzn.to/3XOlV0t
『Databricks──ゼロから触ってわかった！DatabricksとConfluent(Kafka)連携！非公式ガイド』
Kafkaによるストリーム処理とDatabricksを統合し、リアルタイム分析基盤を構築するハンズオン形式の一冊。
イベント駆動アーキテクチャ、リアルタイムETL、Delta Live Tables連携など、
モダンなデータ基盤の必須スキルがまとめられています。
https://amzn.to/42HdmqZ
Salesforce
『ゼロから触ってわかった！Salesforce AgentForce + Data360（Data 非公式ガイド』
Salesforceの最新AI基盤 AgentForce と Data360（Data Cloud） を、実際の操作を通じて理解できる解説書。
https://amzn.to/4u4PyZ2
要件定義（上流工程/モダンデータスタック）
『モダンデータスタック時代の シン・要件定義 クラウド構築大全 ― DWHからCDP、そしてMA / AI連携へ』
クラウド時代の「要件定義」って、どうやって考えればいい？
Databricks・Snowflake・Salesforce・n8nなど、主要サービスを横断しながら“構築の全体像”をやさしく解説！
DWHからCDP、そしてMA／AI連携まで──現場で使える知識をこの一冊で。
https://amzn.to/4nZm0ux
データメッシュ
####『ゼロから触ってわかった データメッシュ入門 ― 思想・型・組織構造から考えるデータメッシュ』
「Data Mesh を導入すべきかどうか」を断言する本ではありません。
自分たちにとって、どこまで分散し、何を共有し、どこに責任を置くのか。
その判断をするための思考の土台を整理する一冊です。
https://amzn.to/3REkyBS
データクリーンルーム
ゼロから触ってわかった データクリーンルーム実践入門 ～ Lakehouse時代のクリーンルームを、思想・設計・マネタイズで読み解く ～
データはあるのに、渡せない。それでも一緒に分析したい——そんな現場の悩みから、本書は始まります。
データクリーンルームを「難しい技術」ではなく、現実の業務でどう使い、どう続けるかという視点で整理しました。
非ITのビジネスパーソンにも読める、実践的な一冊です。
https://amzn.to/4fiG6O2
MCP
『ゼロから触ってわかった！MCPビギナーズガイド』 ― AIエージェント時代の次世代プロトコル入門 アーキテクチャ・ガバナンス・実装―
MCPというプロトコルは、単なる技術トレンドではなく
「AIとシステムの関係性」そのものを変える可能性を秘めています。
SaaS、AIエージェント、ガバナンス、アーキテクチャ、その交差点を一度、立ち止まって整理した一冊です。
https://amzn.to/4nZm0ux
n8n
『n8n──ゼロから触ってわかった！AIワークフロー自動化！非公式ガイド』
オープンソースの自動化ツール n8n を “ゼロから手を動かして” 学べる実践ガイド。
プログラミングが苦手な方でも取り組めるよう、画面操作中心のステップ構成で、
業務自動化・AI連携・API統合の基礎がしっかり身につきます。
👉 https://amzn.to/48Blxca
💡 まとめ：このラインナップで“構築者の視点”が身につく
これらの書籍を通じて、
クラウド基盤の理解 → 要件定義 → 分析基盤構築 → 自動化 → AI統合 → 運用最適化
までのモダンデータスタック時代のソリューションアーキテクトとしての全体像を
「体系的」かつ「実践的」に身につけることができます。
- PoC要件整理
- データ基盤の要件定義
- チーム開発／ガバナンス
- AIワークフロー構築
- トラブルシュート
など、現場で直面しがちな課題を解決する知識としても活用できます。