■受験の目的
LLMやRAGなどの生成AIアプリケーションをプロトタイプから実運用レベルへ移行させるための、データ前処理やVector Search、Mosaic AIを活用したアプリ構築における一連のアーキテクチャ設計、プロンプトエンジニアリング、モデル評価、ガバナンス管理やコスト最適化に関する知見を深めるため。
Databricks Certified Generative AI Engineer Associate の認定を受けるため。
■受験の前提
特に事前に取得しておく必要のある認定試験はありません。
Databricksの他の資格とも毛色が違いますので、AIを学び始めたい人でも、こちらから単独で学習と受験をいただいても良いと思います。
筆者は、MicrosoftのAI資格（AI-900,102(現在901,103に刷新)）を以前に取得しておりましたが、こちらがAIの基本概念の事前学習としては有用であると思います。
■出題範囲
シラバスは以下を参照・情報を入力してPDFをダウンロードし、情報を収集します。
https://www.databricks.com/learn/certification/genai-engineer-associate
■模擬試験
今回は、模擬試験を1点購入しました。
解説を読みながら、教材として学習していきました。
受験後の所感としては、本番試験とは問題が近似していたこともあり大変助かりました。理論的なところの解説も非常にわかりやすく、AIが苦手な筆者でも良い学習になりました。
■学習期間
模擬問題とシラバスを通して、2か月ほど学習しました。
別の製品でAIの案件には入りたてではありますが、実務的に理解していたところもあり、また以前にMicrosoftのAI試験を受けていたこともあり、基本概念はある程度有利に進められるところがあったと思います。
しかしながら、Databricks特有のAI機能や管理・運用・監視については、全く知らないところが多かったので、このあたりの新規学習には苦労しました。
受験後の所感では、模擬試験を入念に理解すればパスできると思われます。
■実際の本試験
サポート言語：日本語
問題数：56問
※試験冒頭画面の説明には45問とありましたが、実際開始すると56問ありましたので、ご注意ください。
出題形式：単一選択もしくは複数選択の問題になります。
試験時間：90分
試験登録料：220ドル（税込）* 為替レート（ドル/円）
決済時の為替で、約37,000円くらいでした。
受験方法：試験センター
合格ライン：非公開（80%以上の可能性が高いです）
結果スコア：90%（明確な数値スコアは出ませんでした）
詳細：
56問中40問くらいは、模擬試験の内容に近い問題が出題されました。
56問中13問は、初見かつ正解を確定できなかった問題がありました。
模擬試験が理解できていれば、1週目30分くらいで回答できます。
2周目以降は、残り時間で見直し・確認をできる余裕はありました。
受験中の感覚では、運が悪くなければ合格しているだろうという感じでした。
注意点としては、既視感ある問題でも、日本語表現の異なる問題があったりしたので、問題文と選択肢は確実に読んで解答してください。
Databricksの試験固有かもしれませんが、問題間でヒントがあったりするので、それも試験中は意識しておくと良いと思います。
■トピックごとのスコア
参考までですが、添付しておきます。
Topic Level Scoring:
Design Applications: 80%
Data Preparation: 100%
Application Development: 75%
Assembling and Deploying Apps: 88%
Governance: 100%
Evaluation and Monitoring: 85%
■不確定な箇所
不確定な解答だった問題で、記憶に残っている情報ですが、ご参考まで以下
・生成AIライフサイクル
・推論テーブルの利用方法(複数)
・エージェントフレームワーク(認証、認可構成のベストプラクティス)
・delta sync index マネージド埋め込み、自己管理埋め込み
・direct access vector index
・vector indexの関数（作成など）
・インデックスのトリガー、ストレージ最適化（vector indexの選定含む）
・ポリシー評価フロー
・一般的なAIアプリフロー（埋め込み、ベクトルインデックス化、コンテキスト拡張、応答生成）
・プロンプト監査
・プロンプトバージョン管理
・プロンプトライブラリ
・評価、監視モニタリング
■その他情報
認定バッチが24時間後には届きました。有効期間2年です。
Databricksの認定試験の場合は、他の認定との組み合わせによって同期更新される仕組みは無いのでご注意ください。