先に答え
Databricks に、Context Engineer Associate という新しい認定試験ができました。公式の試験ガイドによると、公開は2026年7月29日です。AI エージェントが推論するときに受け取る情報(コンテキスト)を、Databricks の上で設計し、組み立て、統制できるかを問う試験です。公式の試験ガイドを読んで、中身を確かめました。
| 項目 | 内容 |
|---|---|
| 採点対象の問題 | 45問(択一と複数選択)。ほかに採点されない問題が最大10問 |
| 時間・受験料 | 90分・200ドル(税は別) |
| 言語 | 英語のみ |
| 受け方 | オンライン監督か、テストセンター |
| 前提 | なし。Databricks での6か月の実務経験を推奨 |
| 有効期間 | 2年。更新は、そのときの試験を受け直す |
ほかの Databricks 試験と違うのは、機能の使い方より、「何を・どれだけ・いつコンテキストに入れるか」を問うことです。45の目標のうち29が「Given ...」で始まります。エージェントの設定やトレース、実験の結果を読んで、原因と直し方を選ぶ形です。
もう1つ、試験ガイドに出てくる context poisoning、attention budget、compaction、progressive disclosure などの言葉は、Databricks の製品名ではありません。2025年に Drew Breunig と Anthropic が書いた記事で使われた言葉です。先にそちらを押さえると、目標の文がぐっと読みやすくなります。
7つの区分と配点
| 区分 | 配点 | 何を問うか |
|---|---|---|
| 1. Foundations of Context Engineering | 16% | 失敗の種類の見分け方。ツールを絞る・必要なときだけ取りに行くなどの先回りの対策。推論モード(standard・extended thinking・reduced thinking)の選び方 |
| 2. System Prompt and Instruction Design | 9% | Genie space の指示・サンプルの質問・信頼できる SQL。few-shot の例の取捨。トークンが増える設定に、そのぶんの価値があるか |
| 3. Knowledge Retrieval and Genie Configuration | 20% | Unity Catalog のメタデータ、Genie に入れるオブジェクト、AI Search の設定、RAG、チャンク分け、事前の検索とその場の検索の使い分け |
| 4. Memory Architecture with Lakebase and MLflow | 18% | 今の会話から取るか会話をまたぐ記憶から取るか、取り過ぎと取りこぼし、Lakebase での永続化、MLflow 3 の実験結果の読み方 |
| 5. Tool Design, MCP, and Agent Context | 13% | MCP のツールを段階的に見せる(progressive disclosure)、紛らわしいツールの説明、消してよいツールの結果、Agent Skills にまとめる指示 |
| 6. Context Compression and Compaction | 11% | compaction で何を捨ててはいけないか、要約プロンプトの直し方、単純な刈り込みで足りるか |
| 7. Multi-Agent and Long-Horizon Task Design | 13% | サブエージェントに何を渡すか、オーケストレーターがあふれないための出力の形、エージェントの境界の引き方、長い作業の進め方 |
試験の言葉1:4つの「コンテキストの失敗」
区分1には、「エージェントのトレースを見て、context poisoning・distraction・confusion・clash を見分ける」という目標があります。この4つは、Drew Breunig が2025年6月22日の記事「How Long Contexts Fail」で名前を付けたものです。
| 失敗 | 意味(Breunig の定義を訳したもの) |
|---|---|
| Context Poisoning | 幻覚などの誤りがコンテキストに入り、何度も参照される |
| Context Distraction | コンテキストが長くなりすぎて、モデルが学習で得たことより、コンテキストのほうに引きずられる |
| Context Confusion | コンテキストの中の余計な内容が使われて、質の低い回答になる |
| Context Clash | 新しく足した情報やツールが、コンテキストの中のほかの情報と食い違う |
見分けるときは、次のように考えます。
- 誤りが入り込み、それが繰り返し使われていれば poisoning です
- 関係のない内容に引っぱられただけなら confusion、中身どうしが矛盾していれば clash です
- confusion の例として、Breunig はツールの数を挙げています。量子化した Llama 3.1 8b に46個のツールを渡すと失敗し、19個に絞ると成功した、という実験です。46個のときも、コンテキストウィンドウ(16k)には十分収まっていました
試験の言葉2:対策の言葉は Anthropic の記事にある
区分5〜7の目標は、Anthropic が2025年9月29日に出した「Effective context engineering for AI agents」の言葉と多く重なります。たとえば区分6の「compaction のプロンプトは、まず recall を最大にし、そのあと precision を上げる」は、この記事の助言とほぼ同じ文です。
| 言葉 | 意味 | 近い区分 |
|---|---|---|
| attention budget・context rot | モデルが注意を向けられる量には限りがある。トークンが増えるほど、中の情報を正しく思い出せなくなる | 1 |
| just-in-time・progressive disclosure | 最初に全部を入れず、必要になったときにツールで取りに行く。関係する情報を段階的に見つけていく | 3・5 |
| tool result clearing | 済んだツール呼び出しの生の結果を消す。いちばん安全で軽い compaction | 5 |
| compaction | 上限に近づいた会話を要約し、要約から続ける | 6 |
| structured note-taking | エージェントが定期的にメモを書き、コンテキストの外に残す | 4 |
| sub-agent | サブエージェントは広く調べても、親には短くまとめた要約(1,000〜2,000トークンほど)だけを返す | 7 |
Databricks の名前は、今のドキュメントとずれがある
試験ガイドは2026年7月29日版です。そのあと、ドキュメントの呼び方や勧め方が変わったものがあります。
| 試験ガイドの書き方 | 今のドキュメント |
|---|---|
| Genie space | Genie Agent。ドキュメントに「Genie Agents were formerly known as Genie Spaces」とある |
| Databricks AI Search | 旧 Vector Search。CLI のコマンド(vector-search-indexes)などには、今も vector-search の名前が残っている |
| Lakebase を使った記憶(LangGraph のチェックポイントなど) | 自分で Lakebase に持つやり方は「legacy」と書かれている。新しく作るなら、Databricks が Lakebase で運用する agent memory と agent sessions(Beta)を勧めている |
記憶は2種類に分けて考えます。区分4には、この2つを取り違えたエージェントを見つける目標があります。今の会話にある情報を長期の記憶から探している、あるいは会話をまたいで残すべき情報を会話の履歴に頼っている、といった取り違えです。
| 記憶 | 中身 | Databricks では |
|---|---|---|
| 短期(1つの会話の中) | 会話の状態。thread ID とチェックポイントで持つ | LangGraph のチェックポイントを Lakebase に置く、または agent sessions |
| 長期(会話をまたぐ) | 好みや事実など、会話をまたいで残す情報を取り出して保存する | Lakebase の自分のテーブル、または agent memory |
機能を確かめる
AI Search:Triggered の index は、取り込みのあとに sync する
公式ドキュメントの例をもとにしています(テーブル名だけ変えました)。
%pip install databricks-ai-search
from databricks.ai_search.client import AISearchClient
client = AISearchClient()
# 元の Delta テーブルと同期する index を作る(TRIGGERED は sync を呼んだときだけ更新する)
index = client.create_delta_sync_index(
endpoint_name="vector_search_demo_endpoint",
source_table_name="main.docs.contract_chunks",
index_name="main.docs.contract_chunks_index",
pipeline_type="TRIGGERED",
primary_key="id",
embedding_source_column="text",
embedding_model_endpoint_name="databricks-qwen3-embedding-0-6b",
)
# 取り込みのジョブが終わったあとに呼ぶ
index = client.get_index(index_name="main.docs.contract_chunks_index")
index.sync()
results = index.similarity_search(
query_text="解約の通知期限",
columns=["id", "text"],
num_results=5,
)
- Delta Sync index は、元の Delta テーブルに合わせて同期します。Direct Vector Access index は、ベクトルとメタデータを自分で読み書きします
- Continuous は数秒の遅れで同期し続けますが、計算クラスタが立つぶん高くつきます。Triggered は sync を呼んだときだけ更新します
- storage-optimized の endpoint では、Triggered しか使えません
- 元のテーブルは新しいのに、エージェントが古い文面を返すときは、まず index が sync されているかを疑います
- ハイブリッド検索もあります。類似度検索とキーワード検索の結果を、Reciprocal Rank Fusion(RRF)で合わせます
MCP:Databricks が用意している MCP サーバー
| サーバー | URL |
|---|---|
| Genie | https://<workspace-hostname>/api/2.0/mcp/genie/{genie_space_id} |
| AI Search | https://<workspace-hostname>/api/2.0/mcp/ai-search/{catalog}/{schema}/{index_name} |
| Unity Catalog の関数 | https://<workspace-hostname>/api/2.0/mcp/functions/{catalog}/{schema}/{function_name} |
| Databricks SQL | https://<workspace-hostname>/api/2.0/mcp/sql |
これらは Public Preview です。ワークスペースの管理者が、Previews のページで Managed MCP Servers を有効にする必要があります。
# pip install --upgrade databricks-mcp databricks-sdk "mcp>=1.24,<2"
from databricks_mcp import DatabricksMCPClient
from databricks.sdk import WorkspaceClient
workspace_client = WorkspaceClient()
mcp_client = DatabricksMCPClient(
server_url="<mcp-server-url>",
workspace_client=workspace_client,
)
tools = mcp_client.list_tools()
for tool in tools:
print(tool.name, tool.description, tool.inputSchema, sep="\n")
-
list_tools()は、サーバーにあるツールの名前・説明・入力のスキーマを返します。全部をそのままモデルに渡すと、ツールの説明だけでコンテキストを使い、似たツールの選び間違い(confusion)も起きやすくなります - 区分5は、ツールを段階的に見せる progressive disclosure と、選び間違いの原因になっている説明の重なりを見つけることを問います。ツールの説明には、ほかのツールと何が違うかを書いておきます
Genie:指示を書く前に、メタデータと SQL を整える
Genie(今の名前は Genie Agent)は、区分2と3にまたがります。公式のベストプラクティスの要点は次のとおりです。
- Unity Catalog のテーブルと列の説明が、正確さの土台になる。Genie の中で足した説明は Genie だけに効き、Unity Catalog のメタデータは書き換えない
- 指標や絞り込みなどの業務の定義は、SQL 式で書く
- あいまいな質問への答え方は、SQL の例で教える
- テキストの指示は、SQL 式と例で足りないときの最後の手段にする
MLflow 3:コンテキストを変えたら、評価で比べる
チャンクの大きさや検索する件数、プロンプトを変えたら、同じデータで評価を回して比べます。区分4には「MLflow 3 の複数の実行結果から、いちばん安定した設定を選ぶ」、区分2には「トークンの多い設定に、そのぶんの価値があるかを実験の結果で判断する」という目標があります。
%pip install -q --upgrade "mlflow[databricks]>=3.14.0"
import mlflow
from mlflow.genai.scorers import RetrievalGroundedness, RelevanceToQuery, Safety, Guidelines
eval_dataset = [
{"inputs": {"question": "返品の受付期限は何日ですか"}},
{"inputs": {"question": "法人契約の請求書はいつ届きますか"}},
]
@mlflow.trace
def my_agent(question: str) -> dict:
... # 検索して回答を作る。検索の部分は span_type="RETRIEVER" のトレースにしておく
results = mlflow.genai.evaluate(
data=eval_dataset,
predict_fn=my_agent,
scorers=[
RetrievalGroundedness(),
RelevanceToQuery(),
Safety(),
Guidelines(name="cites_policy", guidelines="回答には、根拠にした規程の条番号を示すこと"),
],
)
組み込みの LLM ジャッジのうち、コンテキストに関わるものです。
| ジャッジ | 何を見るか | 正解データ |
|---|---|---|
| RetrievalRelevance | 検索した文書が、質問に関係しているか | 不要 |
| RetrievalGroundedness | 回答が、検索した文書に基づいているか(幻覚がないか) | 不要 |
| RetrievalSufficiency | 検索した文書に、正解を作るのに必要な情報がそろっているか | 必要 |
| Correctness | 回答が正解と合っているか | 必要 |
| ToolCallCorrectness | ツールの呼び出しと引数が正しいか | 必要 |
| ToolCallEfficiency | ツールの呼び出しに、むだな重複がないか | 不要 |
複数ターンの会話を見る KnowledgeRetention などのジャッジもあります。
勉強のしかた
- 言葉を先に押さえる。 Breunig の「How Long Contexts Fail」と、Anthropic の「Effective context engineering for AI agents」を読み、上の2つの表の言葉を説明できるようにします
-
公式の自習コースを受ける。 試験ガイドが勧めている Databricks Academy の自習コースは、次の8本です
- Building RAG Agents with Agent Bricks
- Building Agentic Applications on Databricks
- Agent Evaluation on Databricks
- Deploying and Monitoring Agent Applications on Databricks
- Building Reliable Conversational Agents with Genie
- Get Started with Databricks for Data Engineering
- Get Started with Data Governance on Databricks
- Data Governance at Scale
- Free Edition で手を動かす。 試験ガイドは、公式の AI Prep Guide にあるプロンプトで、Free Edition でできる実習を6〜10個、AI に挙げさせる方法を勧めています
- 試験ガイドの例題10問を解く。 試験ガイドの後ろに、目標ごとの例題10問と、答えの解説が付いています
- 45の目標を、自分のチェック表にする。 機能の名前を覚えるだけでは足りません。トレースや実験の結果を見て、なぜその直し方なのかを説明できるかを1行ずつ確かめます
紹介:Databricks 資格の日本語問題集「NicheeLab」
最後に、自分が作っている問題集を紹介させてください。Context Engineer Associate の問題集はまだありませんが、ほかの7つの Databricks 資格は、日本語の問題と解説で対策できます。
📚 7つの資格に対応
- Data Engineer Associate / Professional、Data Analyst、Machine Learning Associate / Professional、Generative AI Engineer、Apache Spark Developer
- 各試験 練習400問(10問×40セット)+ 模擬試験10回分。解説もすべて日本語です
- DEA は2026年5月4日の改定、DEP は10月9日からの新しい試験ガイドに合わせて作り直しています
- NicheeLab 全体の合格率は 85.4%(試験の結果を確かめられた利用者41人のうち35人。運営の集計)
🆓 まずは無料で
練習セット1〜3と模擬試験1回は、登録なしですぐに解けます。
| プラン | 料金 | 向いている人 |
|---|---|---|
| 🎫 90日プラン | ¥1,980(買い切り・自動更新なし) | 受験日が決まっている人 |
| 🔁 月額プラン | ¥980/月(いつでも解約できます) | 長く使う人 |
どちらのプランも、Databricks の7試験すべてに使えます。
🛡️ 落ちても、合格するまで使える
- 不合格保証: 有料の期間中に本試験を受けて不合格だったら、スコアレポートを送ってください。同じプランを90日間、無料で延長します(1回限り)
- 合格したら: 合格の報告で、次の資格の初回料金が30%オフになります
👉 無料で解いてみる(NicheeLab)
参考リンク
- Databricks Certified Context Engineer Associate(公式)
- Context Engineer Associate の試験ガイド(PDF)
- AI Prep Guide(PDF)
- How Long Contexts Fail(Drew Breunig)
- Effective context engineering for AI agents(Anthropic)
- Databricks AI Search / Create AI Search endpoints and indexes
- Databricks-provided MCPs / Use MCP tools in agents
- Curate an effective Genie Agent
- Agent memory / Agent sessions / Self-managed agent memory (Lakebase)
- Evaluate an app(MLflow 3) / Built-in LLM judges


