■受験の目的
Apache Spark(PySpark)を用いたデータ処理・変換手法およびエンジニアリングの知見を深めるため。
Databricks上で大規模データを効率的に抽出・加工・最適化する実装スキルを身につけるため。
Databricks Certified Associate Developer for Apache Spark Python の認定を受けるため。
■受験の前提
特に事前に取得しておく必要のある認定試験はありません。
DatabricksやApache Sparkを使ったデータ処理・パイプライン構築の基礎から学び始めたい人でも、単独で学習を進めて受験しても良いと思います。
基礎として、Pythonの基本文法およびSQLやデータフレーム操作(pandasなど)の概念があるとスムーズです。
ちなみに、筆者は一度受験して、不合格になっています。今回の合格は2回目の受験になります。
■出題範囲
シラバスは以下を参照し、PDFをダウンロードして情報を収集します。
https://www.databricks.com/learn/certification/apache-spark-developer-associate
■模擬試験
今回は、模擬試験を合格までに2点購入しましたが、2回目の合格に寄与したものを記載しておきます。
解説を読みながら、教材として学習していきました。
受験後の所感としては、解法で類似してる問題が多かったので、解説はよく読み込んでおくことをお勧めします。
■学習期間
模擬問題とシラバスを通して、2か月ほど学習しました。
過去notebookで動かしたことはあったのですが、すでにAIでコードが書けるようになっていた時代であったため、Spark,Pythonについてのアーキテクチャや構文理解はよく分かっていなかったところもあったため、今回の学習で改めて理解することができました。
■実際の本試験
サポート言語:英語のみ
問題数:52問
出題形式:単一選択もしくは複数選択の問題になります。
試験時間:90分
試験登録料:220ドル(税込)* 為替レート(ドル/円)
決済時の為替で、約36,000円くらいでした。
受験方法:試験センター
合格ライン:非公開(75~80%以上の可能性が高いです)
結果スコア:90%弱(重み付けでの計算です。明確な数値スコアは出ませんでした)
詳細:
2回目の受験であったため、問題もほぼ既視しているものが多かったです。
52問中45問くらいは、模擬試験の内容に近い問題が出題されました。
52問中5問は、初見かつ正解を確定できなかった問題がありました。
模擬試験が理解できていれば、1周目は30分くらいで解答できます。
2周目以降は、残り時間で英語を再度細かく読解し、見直しや確認を行う余裕がありました。
■トピックごとのスコア
参考までですが、添付しておきます。
Topic Level Scoring:
Apache Spark Architecture and Components: 77%
Using Spark SQL: 85%
Developing Apache Spark™ DataFrame/DataSet API Applications: 100%
Troubleshooting and Tuning Apache Spark DataFrame API Applications: 100%
Structured Streaming: 80%
Using Spark Connect to deploy applications: 50%
Using Pandas API on Spark: 0%
出題範囲の重みづけで計算するとだいたいトータルで、90%弱くらいみたいです。
Pandas APIをなぜ落としているのか、あまり理解できていません。
■不確定な箇所
不確定な解答だった問題で、記憶に残っている情報ですが、ご参考まで以下
・SparkのDAGについて:同試験にて数問にわたって頻出で、問題内容や読解の難しい箇所が多い。
⇒DAGの内容や構造については、完璧に理解しておくほうがいい。
・isNull関数の構文
・spark.sqlparquet.mergeSchemaのSparkSQLでの有効化
・Spark Connect to deploy applications
・Pandas API on Spark
■その他情報
認定バッジは24時間後には届きました。有効期間は2年です。
Databricksの認定試験の場合、他の認定との組み合わせによって同期して更新される仕組みはないためご注意ください。