Azure × Databricks
📚 関連書籍
クラウドでデータ基盤を作ろうとすると、Azure・Storage・ネットワーク・権限・セキュリティ…そこに Databricks が加わった瞬間、一気に難易度が跳ね上がります。
「結局どこから理解すればいいの？」
「Private Link むずかしすぎない？」
「Unity Catalog って実務ではどう扱うの？」
——そんな “最初のつまづき” を丁寧にほどいていくのが本書です。
👉 https://amzn.to/4ocWcJI
Storage（ADLS Gen2）とレイクハウス物理構造 ADLS Gen2とは何者か
Databricks を使う上で、最も重要で、最も誤解されやすい技術が ADLS Gen2 です。
「ストレージでしょ？」
「ただのファイル置き場？」
と思われがちですが、それでは不十分です。
ADLS Gen2 は、Azure のデータ基盤の中心、レイクハウスの物理構造そのものであり、Databricks が性能を発揮するための前提条件でもあります。
ストレージを理解しないまま Databricks を学ぶと、以下のような問題が必ず起こります：
- Storage アクセス拒否（Permission Denied）
- ABFSマウントトラブル
- Delta Lake へのWrite失敗
- External Location作成エラー
これらは Databricks の問題ではなく、ほぼ全て“ADLS Gen2理解不足”が原因です。
では、ADLS Gen2とは何者なのか？
そして、Databricksのレイクハウスとどうつながっているのか？
本記事ではその本質を整理します。
1. 🏞 ADLS Gen2の本質：Azureの“データ湖”を支える技術
ADLS Gen2 は Azure Blob Storage をベースにした次世代データレイクです。
● ADLS Gen2 = Blob Storage + HDFS
- Blob Storage のスケーラビリティ
- HDFS の階層構造（ファイルシステム）
そのいいとこ取りをしたストレージです。
● なぜ ADLS Gen2 がデータ基盤に選ばれるのか？
- 大規模データの保存・読み書きに強い
- Delta Lake と組み合わせて ACID トランザクションを実現
- 分析・機械学習・ETLの全用途に最適
- Storageコストが安価で運用容易
レイクハウスは“テーブルとしてのDelta Lake”と“物理的な格納庫のADLS Gen2”の組み合わせで成り立ちます。
Databricksが高速に動くのは、ADLS Gen2が高性能であるからです。
まとめると、ADLS Gen2はレイクハウスの“物理層のすべて”を担う存在です。
2. 📂 ADLS Gen2の物理構造：Container／Directory／File を理解する
ADLS Gen2の構造は非常にシンプルで、3つの階層で成り立っています。
🔹 ① Container（論理的な最上位）
フォルダではなく“保管庫”のイメージ。
- 1つのStorage Accountには複数Containerを配置
- Bronze / Silver / Gold をContainer単位で分ける企業も多い
- External Location もContainer単位で紐づけられる
🔹 ② Directory（フォルダ）
HDFS風の階層型ディレクトリ。
- ドメイン別（customer/orders/...）
- レイヤー別（bronze/silver/gold）
- １テーブル＝1フォルダ（Delta Lakeの場合）
🔹 ③ File（実データ）
実際に置かれるファイル群。
- Parquet
- Delta
- CSV
- JSON
など様々な形式を格納可能。
Delta Lakeは「1テーブル = 多数のParquetファイル」で構成されている点が重要です。
レイクハウスとの対応関係
- 物理構造 = ADLS Gen2（Container／Directory／File）
- 論理構造 = Unity Catalog（Catalog／Schema／Table）
物理構造を理解していないと、Unity Catalogの挙動も理解できません。
まとめると、ADLS Gen2の階層理解はレイクハウスの基礎そのものです。
3. 🔐 ADLS Gen2を使いこなすための基礎知識：権限・アクセス方式・Databricks連携
ADLS Gen2がやたら難しく感じる理由は、“権限の多層構造”にあります。
● ADLS Gen2に必要な権限は3種類
① Azure RBAC
Storage全体のアクセス権。
例：Storage Blob Data Contributor
② ACL（POSIX権限）
Directory／File単位の読み書き。
③ Unity Catalog 権限
注：UCは論理層での制御であり、物理権限とは別。
3つが重なって初めて、DatabricksからStorageにアクセスできます。
● Databricksのアクセス方式
Databricksは ABFS（Azure Blob File System）プロトコルを使ってデータを読み書きします。
例：
abfss://bronze@storageaccount.dfs.core.windows.net/
● PMI（Private Managed Identity）の重要性
DatabricksクラスターがStorageにアクセスする際の“本人証明”です。
- PMIに RBAC（Storage Blob Data Contributor）
- PMIに必要なACL
- Unity Catalog の Storage Credential と紐づけ
これらが揃わないと、Storageにアクセスできません。
よくあるトラブル原因
- RBAC だけつけて ACL を忘れる
- ACL だけつけて RBAC を忘れる
- PMI を付けるべきStorageに紐づけていない
- External Location を作成する前に権限不足
これらはすべて“ADLS Gen2の多層権限構造”を理解していれば防げます。
🏁 最後はまとめ：ADLS Gen2を理解すればレイクハウスが一気に見える
ADLS Gen2の本質は以下の3つです。
- Blob + HDFS のハイブリッドストレージ
- Container／Directory／File で構成される物理構造
- RBAC × ACL × Unity Catalog の多層権限モデル
この3つを理解すれば、Databricksの動作、レイクハウスの構造、Unity Catalogの役割、External Locationの挙動がすべてつながります。
つまり、ADLS Gen2 を理解することは Databricks を理解することと同義なのです。
📚 関連書籍
Databricks／n8n／Salesforce／AI基盤 を体系的に学べる「ゼロから触ってわかった！」シリーズをまとめました。
Databricks
『Databricks──ゼロから触ってわかった！Databricks非公式ガイド』
クラウド時代の分析基盤を “体験的” に学べるベストセラー入門書。
Databricksの操作、SQL／DataFrame、Delta Lakeの基本、ノートブック操作などを
初心者でも迷わず進められる構成で解説しています。
https://www.amazon.co.jp/dp/B0FBGH8PQF
『ゼロから触ってわかった！Azure × Databricksでつくる次世代データ基盤 非公式ガイド ―』
クラウドでデータ基盤を作ろうとすると、Azure・Storage・ネットワーク・権限・セキュリティ…そこに Databricks が加わった瞬間、一気に難易度が跳ね上がります。
「結局どこから理解すればいいの？」
「Private Link むずかしすぎない？」
「Unity Catalog って実務ではどう扱うの？」
——そんな “最初のつまづき” を丁寧にほどいていくのが本書です。
👉 https://amzn.to/4ocWcJI
『Databricks──ゼロから触ってわかった！DatabricksとConfluent(Kafka)連携！非公式ガイド』
Kafkaによるストリーム処理とDatabricksを統合し、リアルタイム分析基盤を構築するハンズオン形式の一冊。
イベント駆動アーキテクチャ、リアルタイムETL、Delta Live Tables連携など、
モダンなデータ基盤の必須スキルがまとめられています。
『Databricks──ゼロから触ってわかった！AI・機械学習エンジニア基礎 非公式ガイド』
Databricksでの プロンプト設計・RAG構築・モデル管理・ガバナンス を扱うAIエンジニアの入門決定版。
生成AIとデータエンジニアリングの橋渡しに必要な“実務の型”を体系化しています。
資格本ではなく、実務基盤としてAIを運用する力 を育てる内容です。
『ゼロから触ってわかった！ Snowflake × Databricksでつくる次世代データ基盤 - 比較・共存・連携 非公式ガイド』
SnowflakeとDatabricks――二つのクラウドデータ基盤は、これまで「どちらを選ぶか」で語られることが多くありました。
しかし、実際の現場では「どう共存させるか」「どう連携させるか」が、より重要なテーマになりつつあります。
本書は、両プラットフォームをゼロから触り、構築・運用してきた実体験をもとに、比較・共存・連携のリアルを丁寧に解説する“非公式ガイド”です。
🧠 Advancedシリーズ（上／中／下）
Databricksを “設計・運用する” ための完全版実践書
「ゼロから触ってわかった！Databricks非公式ガイド」の続編として誕生した Advancedシリーズ は、
Databricksを触って慣れた“その先”――本格運用・チーム開発・資格対策・再現性ある設計 に踏み込む構成です。
Databricks Certified Data Engineer Professional（2025年9月改訂版）のカリキュラムをベースに、
設計思考・ガバナンス・コスト最適化・トラブルシュートなど、実務で必須の力を養えます。
📘 ［上］開発・デプロイ・品質保証編
📘 ［中］取込・変換・監視・コスト最適化編
📘 ［下］セキュリティ・ガバナンス・トラブルシュート・最適化戦略編
n8n
『n8n──ゼロから触ってわかった！AIワークフロー自動化！非公式ガイド』
オープンソースの自動化ツール n8n を “ゼロから手を動かして” 学べる実践ガイド。
プログラミングが苦手な方でも取り組めるよう、画面操作中心のステップ構成で、
業務自動化・AI連携・API統合の基礎がしっかり身につきます。
Salesforce
『ゼロから触ってわかった！Salesforce AgentForce + Data Cloud 非公式ガイド』
Salesforceの最新AI基盤 AgentForce と Data Cloud を、実際の操作を通じて理解できる解説書。
エージェント設計、トピック／アクション構築、プロンプトビルダー、RAG（検索拡張生成）など、
2025年以降のAI×CRMのハンズオン知識をまとめた一冊です。
要件定義（上流工程/モダンデータスタック）
『モダンデータスタック時代の シン・要件定義 クラウド構築大全 ― DWHからCDP、そしてMA / AI連携へ』
クラウド時代の「要件定義」って、どうやって考えればいい？
Databricks・Snowflake・Salesforce・n8nなど、主要サービスを横断しながら“構築の全体像”をやさしく解説！
DWHからCDP、そしてMA／AI連携まで──現場で使える知識をこの一冊で。
💡 まとめ：このラインナップで“構築者の視点”が身につく
これらの書籍を通じて、
クラウド基盤の理解 → 要件定義 → 分析基盤構築 → 自動化 → AI統合 → 運用最適化
までのモダンデータスタック時代のソリューションアーキテクトとしての全体像を
「体系的」かつ「実践的」に身につけることができます。
- PoC要件整理
- データ基盤の要件定義
- チーム開発／ガバナンス
- AIワークフロー構築
- トラブルシュート
など、現場で直面しがちな課題を解決する知識としても活用できます。