はじめに
2022年の年末のことです。ある役員とのミーティングの最後に、こんな話を持ちかけられました。
「来期はDatabricksをやりたいんだけど、興味ある？」
正直、当時の私はDatabricksという名前さえ知りませんでした。ですが、ミーティング後すぐにGoogleで調べてみたところ、これは「間違いなくこれから流行る」と直感しました。ちょうどその時、Snowflakeの資格試験の勉強をしていたのですが、それを中止してDatabricksの資格試験に挑戦することを決意しました。
どうせやるなら中途半端では終わらせたくない。そう思った私は、
「全資格を取る！」
そして、この挑戦を支えてくれたのが、ChatGPTというAIの力でした。このブログでは、英語が苦手でも、どのようにしてDatabricksの全7資格を取得できたのか、その具体的なプロセスとポイントをお伝えします！
Data Engineer Associate.
| 勉強開始 | 合格日 |
|---|---|
| 2022年12月頃 | 2023年04月10日 |
2022年当時は、日本語での試験がまだ始まっていなかったため、まずはDatabricks資格試験で出てくる英単語を勉強する必要がありました。そのために、約5カ月間かけて学習を進めました。
学習には、Udemyで高評価を得ている教材を使用しました。苦手な英語については4つのツールを駆使しました。具体的には、DeepLで翻訳し、Reversoで文脈を確認し、Weblioで単語を調べるといった方法です。
また、この頃はまだChatGPTが教育にどれほど活用できるか気づいていませんでした。しかし、以下のプロンプトを使って、Udemyの問題集から英単語帳を作成するために利用していました。
この頃は自由に使えるDatabricks環境がなかったため、全く触ったことがない状態で、ひたすら丸暗記して合格しました。
Udemyでは以下の教材を一通りやっておりました。
- Practice Exams: Databricks Certified Data Engineer Associate[Derar Alhussein | 8x Databricks Certified]
- Databricks Certified Data Engineer Associate - Preparation [Derar Alhussein | 8x Databricks Certified]
- Databricks Certified Data Engineer Associate Exam Prep 2023[Henry Habib]
- Databricks Certified Data Engineer Associate Practice Exams[Akhil R]
- Databricks Certified Data Engineer Associate Exam Guide[Ankit Mistry]
Udemyの教材では技術用語が旧名称のままなのに対し、Databricksの公式マニュアルでは新しい名称が使われており、その違いにとても混乱しました。また、自由に使えるDatabricks環境がない状況だったため、さらに困惑しました。試験ではどちらの名称が出題されるのか分からないため、結局両方を覚えなければならず大変でした。Databricksは機能の名称を頻繁に変更するので、試験勉強には苦労します。
Catalog Explorer (旧Data Explorer)
SQL WAREHOUSE (旧SQL EndPoint)
Machine Learning Associate.
| 勉強開始 | 合格日 |
|---|---|
| 2023年04月10日 | 2023年08月21日 |
Microsoftのハッカソンで、「AzureならワンクリックでDatabricksが使える」と聞き、早速社内にAzure Databricksの学習環境を構築しました。Databricksに触れるための環境を整えた上で、Udemyの高評価の教材を活用して勉強を進めました。しかし、一般的な機械学習に関する深い知識が求められるため、難易度が高く、3回目の受験でようやく合格することができました。
Udemyの教材には問題や選択肢に間違いが多く、正しい答えを見つけるためにGoogleで調べるのにかなり時間がかかりました。さらに、解説が不十分で、なぜその答えになるのかを理解するのにも非常に時間がかかりました。Udemyで3つほどの教材を使って勉強していたのですが、今確認すると評判が悪かったのか、すべて販売中止になっていました。
pandas、Pandas API on Spark、PySparkの間で変換を試してみて、表にまとめてみました。
Data Analyst Associate.
| 勉強開始 | 合格日 |
|---|---|
| 2023年08月21日 | 2023年12月30日 |
Databricksの実機でダッシュボードを触ってみたり、Udemyで評価の高い教材を使って勉強しました。内容的にData Engineer Associateの試験と重なる部分が多かったので、正直、勉強しなくても合格できたかもしれません。
Udemyでは以下の教材を一通りやっておりました。
- Databricks Certified Data Analyst Associate: Practice Exams[Malvik Vaghadia]
- Databricks Certified Data Analyst Practice Test[Pallabi Chakraborty]
ネストされたオブジェクトやウィンドウ関数、ロールアップ、グルーピングセット、キューブ、そしてグルーピングセットの詳細な動作をテストデータを作って確認しました。
Data Engineer Professional.
| 勉強開始 | 合格日 |
|---|---|
| 2023年12月30日 | 2024年05月16日 |
Udemyの教材だけでは太刀打ちできず、試験範囲のマニュアルを見直しながら、ChatGPTを使って問題と選択肢の解説を作成しました。約500問の問題集を自作し、毎日英語の長文を読んで速読の練習も続けました。そして、3回目の受験でようやく合格することができました。
Udemyでは以下の教材を一通りやっておりました。
沢山の長文の問題を解くと、IT系の英文なら速読できる様になりました。
※偏った英語学習なので小説や新聞は読めない。
- Practice Exams: Databricks Data Engineer Professional[Derar Alhussein | 8x Databricks Certified]
- Databricks Certified Data Engineer Professional -Preparation[Derar Alhussein | 8x Databricks Certified]
- Databricks Data Engineer Professional - Practice Exams[Lokesh Tendulkar | Certification Champs]
- Databricks Data Engineer Professional - Practice Exams[Manas Reddy]
おかげさまで、ChatGPTのプロンプトスキルが大幅に向上しました！
ChatGPTならこんな事ができます。
- Udemyやサンプル問題集から、自分が苦手な分野の別の問題をChatGPTに作ってもらう
- Udemyやサンプル問題集には正解や不正解の理由が載っていないので、ChatGPTに解説を作ってもらう
また、ChatGPTには英語で指示をすると、日本語よりも質の高い回答が得られます。
Machine Learning Professional.
| 勉強開始 | 合格日 |
|---|---|
| 2024年05月16日 | 2024年07月27日 |
Udemyの教材内容をChatGPTに入力して問題の誤りを修正し、選択肢の解説も作成。その上で、Databricksの実機を操作しながら動作を確認しました。
Udemyでは以下の教材を一通りやっておりました。
- Databricks Data Engineer Professional - Practice Exams[Lokesh Tendulkar | Certification Champs]
- Databricks Certified ML Professional Practice Exam Questions[Muhammad Taimur Adil]
この頃には、ChatGPTを使って、コストパフォーマンスの良い勉強ができるようになっていました。ただ、hallucination（誤った回答）が結構多かったので、Googleで検索してChatGPTの回答が正しいか確認するのが面倒でした。
※今では、ChatGPTがインターネットを検索してエビデンスを提示してくれるようになっています。
Associate Developer for Apache Spark 3.0.
| 勉強開始 | 合格日 |
|---|---|
| 2024年07月27日 | 2024年10月05日 |
ChatGPTを活用して、Databricksで試験範囲の動作確認用Notebookを大量に作成する。
Generative AI Engineer Associate.
| 勉強開始 | 合格日 |
|---|---|
| 2024年10月05日 | 2024年11月03日 |
2023年、日本人として初めてサンフランシスコで研修を受けたものの、翌年のプレビュー試験を受けた結果は不合格でした。 2024年には再び日本語の研修教材で、ようやく合格することができました。
なんと日本語で受験できました。
ChatGPTを使って苦手な分野に関する問題を作り、それを解くことができます。
次の目標
もう受験するDatabricks資格がないため現在、TOEICのスコアを400点から900点に上げることを目標に、寝る前に「mikan」と「Santa」というスマホアプリを使って勉強しています。
次にDatabricksの新しい資格が出たら、日本最速で合格を目指したいと思っています！