Databricks を学び始めて約2か月ですが、Professional Data Engineer に合格することができました。
これから受験する方の参考になればと思い、学習の進め方や試験の印象をまとめます。
👤 筆者のスペック
- Databricksは初学者です
- データ分析の経験・知識はゼロです
- SQLは簡単なクエリが書ける程度です
- パブリッククラウド(AWS / Azure / GCP)の経験はあります(Azure資格は計10個取得)
📊 受験結果(スコア)+所感
試験の中盤で、あまり勉強してこなかった Pandas UDF 系の問題が出て少し焦りましたが、全体的には落ち着いて解けたと思います。
個人的には、Liquid Clustering や Unity Catalog の予測最適化 に関する問題が思った以上に多く出た印象がありました。
📝 試験の特徴(ざっくりまとめ)
- 問題数:59問
- 試験時間:120分
- 料金:200 ドル
- 受験形式:テストセンター / オンライン
(私はテストセンターで受験しました)
実際に試験を受けてみて下記は抑えておいてよかったと思いました。
- Liquid Clustering
- Unity Catalog の予測最適化
- Declarative Pipelines
- ストリーム × 静的テーブルの結合(Stream-Static join)
- Delta Lake の CDF / CDC
最近のDatabricksのアップデートに寄った問題が増えている印象でした。
📚 使用した教材
今回の学習では、Databricks パートナーアカデミーの研修と、Udemy の模擬試験コースの2つを中心に進めました。
教材の数としては、多くないですがそれぞれを理解しながら取り組んだことで、短期間でも効率よく試験範囲をカバーすることができました。
1.Databricks Partner Academy — “Data Engineering with Databricks - Japanese”
最初に取り組んだのが、このパートナーアカデミーの研修です。
ここで Databricks 全体の構成・主要コンポーネントのつながり を体系的に理解できたのが非常に大きかったです。また、実際に動かしながら確認できたのもよかったです。
研修で特に理解が深まったポイント 💡
- Lakehouse のアーキテクチャ全体像
- Delta Lake(MERGE、OPTIMIZE、CDF などの基礎)
- Auto Loader を使った ingestion
- Unity Catalog によるテーブル管理の基本
2.Databricks Professional Data Engineer 模擬試験コース
URL:
https://www.udemy.com/share/108F9M3@Ogwgm3YPp3JzZGJtNf7vJs6xQwruSevNU7To5d40PMPUxGuigf5mEzaCt0p6tiKtTA==/
模擬試験中心のコースですが、実際の出題傾向に非常に近いため、理解の定着と弱点補強に最適でした。
学習の進め方としては、模擬試験をときつつ解説リンクの公式ドキュメントを読み込む形で進め、3周は問題を解きました。また、Databricksの無料エディションを使うことで実際に動かしながら理解を深めました。
🕒 学習時間
2か月勉強してきましたが、学習時間としては下記をコンスタントにやってきました。
- 平日:1〜2時間
- 休日:3〜4時間
合計すると、約100時間ほどは学習した計算になります。
こう思うと結構頑張ってやってきたなと思います。
💡 Databricks Certified Data Engineer Associateとの比較
2か月の間に Databricks Certified Data Engineer Associate も取得したため、両者の違いについても触れておきます。
Associate については、パートナーアカデミーで扱われる内容を繰り返し理解することで十分対応できました。
基礎的な概念や代表的な機能が中心で、深い理解や細かな挙動まで問われる印象はありません。
一方、Professional は難易度が一段階上がります。
模試形式の問題を解きながら理解を定着させることがほぼ必須で、各機能の目的・仕組み・動作の違いを理解している前提で問われる問題が多いと感じました。
暗記だけでは対応しづらく、実際に手を動かして理解を進めたことが非常に役に立った印象があります。
✏️ 今後について
今回の記事では、試験の印象や学習方法を中心にまとめましたが、
次回以降は Databricks の各サービスやコンポーネントについて、実際に学んで理解した内容をまとめていく予定です。
