半ば自慢気味にこちらの記事を書きましたが、その前段のAssociateに関しても記事を書こうと思い立ちました。
こちらもDatabricksの認定試験です。
当たり前ですが、Professionalよりも難易度は低いです。データエンジニアリングに関する機能の細かい挙動というよりも、その機能が何をするものであるのかといった概念に関する設問が多かった印象です。
Databricks Certified Data Engineer Associate
以下、試験の内容を説明しているページの翻訳となります。
Databricks Certified Data Engineer Associate認定試験は、入門レベルのデータエンジニアリングを完了するためにDatabricksレイクハウスプラットフォームを活用する個人の能力を評価します。これには、レイクハウスプラットフォーム、アーキテクチャ、機能に対する理解が含まれます。また、バッチ処理、インクリメンタル処理のパラダイムにおいてApache Spark SQLとPythonの両方を用いたマルチホップアーキテクチャETLタスクを実行する能力も評価します。最後に、この試験では、エンティティのアクセス権を維持しながらも、基本的なETLパイプラインやDatabricks SQLのクエリーをプロダクションに移行する受験者の能力も評価します。この試験に通過する人は、Databricksと関連ツールを用いて基本的なデータエンジニアリングタスクを完了できることが期待されます。
試験方法
こちらはオンライン試験です。こちらでアカウントを作成してログインします。ログイン後、試験を選択します。なお、200ドルです。PCに専用のソフトウェアをインストールした後で試験を受けます。カメラで監視(!?)されるので、本を見ながら、調べながらというのはNGです。制限時間は90分で45問の問題に回答します。選択式です。そして、英語です。
必要スキル
こちらも説明文の翻訳です。関連資料へのリンクを追記しています。
- 以下を含むDatabricksレイクハウスプラットフォームとツールを用いることのメリットと利用法を理解していること。
- データレイクハウス(アーキテクチャ、説明、メリット)
- データサイエンス&データエンジニアリングワークスペース(クラスター、ノートブック、データストレージ)
- Delta Lake(一般的なコンセプト、テーブル管理・操作、最適化)
- 以下を含むApache Spark SQLとPythonを用いたETLパイプラインの構築ができること。
- リレーショナルエンティティ(データベース、テーブル、ビュー)
- ELT(テーブルの作成、テーブルへのデータ書き込み、データのクレンジング、テーブルの結合・形状変更、SQL UDF)
- 以下を含むインクリメンタルなデータ処理をできること。
- 構造化ストリーミング(一般的なコンセプト、トリガー、ウォーターマーク)
- Auto Loader(ストリーミングの読み込み)
- マルチホップアーキテクチャ(ブロンズ・シルバー・ゴールド、ストリーミングアプリケーション)
- Delta Live Tables(メリットと機能)
- 以下を含むデータエンジニアリングアプリケーションのためのプロダクションパイプラインとDatabricks SQLのクエリーを構築できること。
- 以下を含むベストセキュリティプラクティスを理解し遵守できること。
- Unity Catalog(メリットと機能)
- エンティティのアクセス権(チーム単位のアクセス権、ユーザー単位のアクセス権)
設問
こちらも原文の翻訳です。合計45問を90分で回答します。
- Databricksレイクハウスプラットフォーム – 24% (11/45)
- Spark SQLとPython用いたELT – 29% (13/45)
- インクリメンタルデータ処理 – 22% (10/45)
- プロダクションのパイプライン – 16% (7/45)
- データガバナンス – 9% (4/45)
準備
試験に通過する可能性を高めるには、上で記述した資料を理解することに加え、以下の準備を行うことをお勧めします。
- インストラクターによるデータエンジニア向けデータブリックス4日間集中トレーニング
- セルフペーストレーニング: Data Engineering with Databricks(Databricks Academyで受講できます)
また、模擬試験もありますのでこちらをトライすることをお勧めします。
基本的な概念を網羅的に学ぶということであれば、こちらの記事をウォークスルーしていただければDatabricksの全体像を把握できるかと思います。
そして、上の内容をベースに書籍化したのがこちらです。電子書籍なら99円です。