はじめに
2026年11月に、Databricks の Technical Blog で「Building a Self-Validating AI Summary Pipeline on Databricks」という記事が公開されました。マーケティング分析チームが、A/B テストの結果を毎日 LLM で要約して配る仕組みを紹介したものです。
この記事を読んで、普段から考えていたことと重なると感じました。文書の要約や情報抽出のように、LLM を呼ぶバッチ処理 (非構造化データ処理パイプライン) は、生成 AI アプリの一種です。そうであれば、エージェントやチャットアプリで使っている LLMOps の考え方がそのまま使えるはずです。
- プロンプトをバージョン管理する
- 処理の過程をトレースに残す
- 出力をジャッジで評価する
- 人の採点に合わせてジャッジとプロンプトを直す
ブログ記事には、作り直しのループの疑似コードと、ジャッジの定義が載っています。一方で、検証ルールの中身、データ、各関数の実装は載っていません。そこで、足りない部分を自分で書き、小さなサンプルデータで同じ構成を Databricks 上で動かしてみました。うまく動いたところだけでなく、検証そのものが判定を誤った例も出たので、それも含めて書いていきます。
ブログ記事の構成
仕組みは2層になっています。
1つ目は、要約1件ごとに毎回走るチェックです。生成した要約を4段階で検証し、通らなければ失敗の内容をプロンプトに足して作り直します。上限まで試しても重大な失敗が残る要約は公開しません。
2つ目は、チェックそのものを見直す仕組みです。処理の過程をすべて MLflow のトレースに残し、ジャッジで要約の有用性と検証の誤判定を採点します。ブログ記事では、月に一度、人の採点をもとにジャッジとプロンプトを調整しています。
LLMOps の要素と、このパイプラインでの使われ方を対応させると次のようになります。
| LLMOps の要素 | このパイプラインでの使われ方 | Databricks の機能 |
|---|---|---|
| プロンプトのバージョン管理 | 要約用のプロンプトを登録し、エイリアスで本番のバージョンを指す | MLflow Prompt Registry |
| トレース | 試行ごとの生成と検証を1本のトレースに残す | MLflow Tracing |
| 評価 | 要約の有用性と、検証の誤判定をジャッジで採点する | make_judge |
| 人の採点による調整 | 専門家の採点に合わせてジャッジとプロンプトを直す | Judge Alignment、プロンプト最適化 |
今回動かしたのは、表の上から3つです。4つ目の人の採点による調整は、以前の記事で試しています。
サンプルで動かす
サーバーレスコンピュートのノートブックで実行しました。ノートブックは GitHub に置いてあります。
以下では、ノートブックの主要な部分を順に説明します。記事のコードは、説明のために成否の記録などを省いて短くしています。
準備
MLflow と OpenAI クライアントをインストールします。
%pip install -U -q "mlflow[databricks]>=3.4" openai
dbutils.library.restartPython()
テーブルとプロンプトの置き場所、使うモデルを決めます。カタログとスキーマはご自身の環境に合わせてください。
import json
import re
import mlflow
import pandas as pd
CATALOG = "takaakiyayoi_catalog"
SCHEMA = "pipeline_llmops"
RESULTS_TABLE = f"{CATALOG}.{SCHEMA}.svs_experiment_results"
SUMMARY_TABLE = f"{CATALOG}.{SCHEMA}.svs_summaries"
PROMPT_NAME = f"{CATALOG}.{SCHEMA}.svs_experiment_summary"
MAX_ATTEMPTS = 3 # 作り直しを含めた試行回数の上限
# 役割ごとにモデルを分けます。検証には、生成より軽いモデルや別のモデルを当てます
MODELS = {
"generator": "databricks-claude-sonnet-4-5",
"judge_simple": "databricks-claude-haiku-4-5",
"judge_complex": "databricks-claude-sonnet-4-5",
"judge_data": "databricks-meta-llama-3-3-70b-instruct",
}
モデルを呼ぶ関数を1つ用意します。生成も検証もこの関数を通します。
from databricks.sdk import WorkspaceClient
# 実行すると databricks-openai パッケージへの移行を案内する警告が出ます。今回はこのまま実行しています
client = WorkspaceClient().serving_endpoints.get_open_ai_client()
def _text(content):
"""応答本文を文字列にそろえる (モデルによってはリストで返ります)"""
if isinstance(content, str):
return content
parts = []
for p in content or []:
if isinstance(p, dict) and p.get("type") == "text":
parts.append(p.get("text", ""))
return "".join(parts)
def _complete(model, prompt, max_tokens=1500):
res = client.chat.completions.create(
model=model,
messages=[{"role": "user", "content": prompt}],
max_tokens=max_tokens,
)
return _text(res.choices[0].message.content).strip()
実験結果のテーブルを作る
題材は、EC サイトで行った A/B テストの結果です。A/B テストでは、ユーザーを2つのグループに分け、片方には今までの画面 (対照群)、もう片方には変更を加えた画面 (施策群) を見せて、数字の違いを比べます。データはこの記事のために作った架空のものです。
テーブルの1行は、ある実験の、ある指標を、あるユーザー層で比べた結果です。
| 列 | 内容 |
|---|---|
| experiment_id | 実験のID。社内の管理番号という想定 |
| experiment_name | 実験の名前。何を変えたかを表す |
| metric | 比べた指標 |
| segment | 対象のユーザー層 (全体、新規ユーザー、モバイルなど) |
| control_value | 対照群の値 |
| treatment_value | 施策群の値 |
| lift_pct | 改善率 (%)。対照群から施策群へ何%変わったか。マイナスは悪化 |
| p_value | p値。小さいほど、差が偶然とは考えにくい |
| is_significant | 統計的に有意かどうか。p値が0.05未満の行を true にしている |
指標は3種類です。
| 指標 | 意味 | 単位の想定 |
|---|---|---|
| CVR | 購入転換率。訪れたユーザーのうち購入した割合 | % |
| AOV | 平均注文額。注文1回あたりの金額 | 円 |
| ARPU | ユーザーあたり売上。購入しなかった人も含めた1人あたりの売上 | 円 |
指標名はあえて略語のまま入れています。事業部門の担当者に配る要約に略語がそのまま出てくると読みにくいので、あとで「略語をそのまま書かない」という検証ルールを用意します。そのルールが働く場面を作るためです。実験IDも同じで、社内の管理番号を要約に書かせない、というルールの対象になります。
実験は3つ用意しました。それぞれ、要約が間違えやすい点を1つずつ入れてあります。
| 実験 | 変更した内容 | 有意な結果 | 要約が間違えやすい点 |
|---|---|---|---|
| EXP-2041 | 購入ボタンの色変更 | CVR が全体で +10.0%、新規ユーザーで +20.0%。AOV は全体で -3.0% | 改善だけを書いて、AOV の悪化を書き漏らす |
| EXP-2042 | おすすめ商品の表示位置変更 | モバイルだけ CVR +8.9%、ARPU +6.1%。全体とデスクトップは有意でない | モバイルだけの結果を、全体の効果のように書く |
| EXP-2043 | 送料無料ラインの引き下げ | CVR +12.1%、AOV -8.0%、ARPU +3.0% | 改善と悪化が混ざった結果を、一方に寄せて書く |
rows = [
("EXP-2041", "購入ボタンの色変更", "CVR", "全体", 3.20, 3.52, 10.0, 0.004, True),
("EXP-2041", "購入ボタンの色変更", "CVR", "新規ユーザー", 2.10, 2.52, 20.0, 0.001, True),
("EXP-2041", "購入ボタンの色変更", "CVR", "既存ユーザー", 4.50, 4.55, 1.1, 0.610, False),
("EXP-2041", "購入ボタンの色変更", "AOV", "全体", 5400.0, 5238.0, -3.0, 0.030, True),
("EXP-2042", "おすすめ商品の表示位置変更", "CVR", "全体", 3.10, 3.14, 1.3, 0.480, False),
("EXP-2042", "おすすめ商品の表示位置変更", "CVR", "モバイル", 2.80, 3.05, 8.9, 0.012, True),
("EXP-2042", "おすすめ商品の表示位置変更", "CVR", "デスクトップ", 3.60, 3.42, -5.0, 0.210, False),
("EXP-2042", "おすすめ商品の表示位置変更", "ARPU", "モバイル", 310.0, 329.0, 6.1, 0.041, True),
("EXP-2043", "送料無料ラインの引き下げ", "CVR", "全体", 3.30, 3.70, 12.1, 0.001, True),
("EXP-2043", "送料無料ラインの引き下げ", "AOV", "全体", 5600.0, 5150.0, -8.0, 0.002, True),
("EXP-2043", "送料無料ラインの引き下げ", "ARPU", "全体", 185.0, 190.5, 3.0, 0.045, True),
]
schema = (
"experiment_id string, experiment_name string, metric string, segment string, "
"control_value double, treatment_value double, lift_pct double, p_value double, is_significant boolean"
)
spark.sql(f"DROP TABLE IF EXISTS {RESULTS_TABLE}")
spark.createDataFrame(rows, schema).write.saveAsTable(RESULTS_TABLE)
要約に渡すのは、統計的に有意な行だけです。有意でない行は、差が偶然かもしれないので要約の材料にしません。テーブルから有意な行を読み、モデルに渡す文章の形に整える関数を用意します。
def load_experiment(experiment_id):
pdf = (
spark.table(RESULTS_TABLE)
.filter(f"experiment_id = '{experiment_id}' AND is_significant")
.orderBy("metric", "segment")
.toPandas()
)
# 有意な行がない実験は要約を作らず、エラーにします
if pdf.empty:
raise ValueError(f"{experiment_id}: 有意な結果がありません")
lines = []
for r in pdf.to_dict("records"):
lines.append(
f"- 指標: {r['metric']} / セグメント: {r['segment']} / 対照群: {r['control_value']} / "
f"施策群: {r['treatment_value']} / 改善率: {r['lift_pct']:+.1f}% / p値: {r['p_value']}"
)
return {
"experiment_id": experiment_id,
"experiment_name": pdf["experiment_name"].iloc[0],
"text": "\n".join(lines),
}
print(load_experiment("EXP-2041")["text"])
EXP-2041 では4行のうち、有意な3行が渡されます。既存ユーザーの CVR (+1.1%、p値 0.61) は有意でないので入りません。
- 指標: AOV / セグメント: 全体 / 対照群: 5400.0 / 施策群: 5238.0 / 改善率: -3.0% / p値: 0.03
- 指標: CVR / セグメント: 全体 / 対照群: 3.2 / 施策群: 3.52 / 改善率: +10.0% / p値: 0.004
- 指標: CVR / セグメント: 新規ユーザー / 対照群: 2.1 / 施策群: 2.52 / 改善率: +20.0% / p値: 0.001
この文章が、要約を生成するモデルへの入力になります。同時に、要約の数値が正しいかを照合するときの元データにもなります。
プロンプトを Prompt Registry で管理する
プロンプトを2種類、同じ名前のバージョン違いとして登録します。1つはルールを書いていない雑なプロンプト、もう1つはルールを書いたプロンプトです。雑なプロンプトでも、検証と作り直しで要約が直るかを見るために両方を用意しました。
TEMPLATE_ROUGH = """次の A/B テストの結果を要約してください。
実験ID: {{experiment_id}}
実験名: {{experiment_name}}
結果 (統計的に有意なもののみ):
{{data}}
"""
TEMPLATE_RULES = """あなたはデータアナリストです。次の A/B テストの結果を、事業部門の担当者向けに要約してください。
実験ID: {{experiment_id}}
実験名: {{experiment_name}}
結果 (統計的に有意なもののみ):
{{data}}
ルール:
- 400文字以内、です・ます調で書く
- 最初の文で、どの施策が何をどれだけ変えたかを述べる。続けてセグメント別や指標別の内訳を述べる
- 改善した結果だけでなく、悪化した結果も必ず書く
- 数値は上のデータのとおりに書く。データにない数値を書かない
- 一部のセグメントの結果を、全体に当てはまるように書かない
- 略語は使わず言い換える (CVR は購入転換率、AOV は平均注文額、ARPU はユーザーあたり売上)
- 実験ID (EXP-で始まる番号) は書かない
- 感嘆符と、「劇的」「圧倒的」のような大げさな表現は使わない
- 要約の本文だけを出力する
"""
prompt_rough = mlflow.genai.register_prompt(
name=PROMPT_NAME, template=TEMPLATE_ROUGH, commit_message="雑なプロンプト"
)
prompt_rules = mlflow.genai.register_prompt(
name=PROMPT_NAME, template=TEMPLATE_RULES, commit_message="ルール入りプロンプト"
)
# 本番で使うバージョンはエイリアスで指します。処理側はバージョン番号を知らなくて済みます
mlflow.genai.set_prompt_alias(name=PROMPT_NAME, alias="production", version=prompt_rules.version)
prompt_rules = mlflow.genai.load_prompt(f"prompts:/{PROMPT_NAME}@production")
PROMPTS = {"雑なプロンプト": prompt_rough, "ルール入りプロンプト": prompt_rules}
これでバージョン1と2が登録され、バージョン2に production のエイリアスが付きます。パイプラインは @production で読み込むので、プロンプトを直したときも処理のコードは変えずに済みます。
検証ルールを4段階に分ける
検証ルールは、誰が判定するかで4段階に分けます。安く確実に判定できるものはコードで見て、LLM には LLM でないと判定できないものだけを任せる、という分け方です。
| 段階 | 誰が判定するか | 見るもの |
|---|---|---|
| deterministic | Python のコード | 感嘆符、実験ID、略語、文字数 |
| simple | 軽いモデル | 文体、構成 |
| complex | 推論の強いモデル | 矛盾、重複、誤解を招く一般化 |
| data | 生成とは別のモデル | 元データとの数値の一致、悪化した結果の書き漏らし |
各ルールには重さ (severity) を付けます。hard のルールに違反した要約は公開しません。soft は公開したうえで記録に残します。
RULES = {
"no_exclamation": {"tier": "deterministic", "severity": "soft", "rule": "感嘆符 (! と !) を使わない"},
"no_internal_id": {"tier": "deterministic", "severity": "soft", "rule": "EXP-で始まる実験IDを書かない"},
"no_raw_abbreviation": {"tier": "deterministic", "severity": "soft",
"rule": "CVR、AOV、ARPU という略語をそのまま書かない"},
"max_length": {"tier": "deterministic", "severity": "soft", "rule": "400文字以内で書く"},
"tone": {"tier": "simple", "severity": "soft",
"rule": "です・ます調で書かれていて、「劇的」「圧倒的」のような大げさな表現がない"},
"structure": {"tier": "simple", "severity": "soft",
"rule": "最初の文で、どの施策が何をどれだけ変えたかを述べている。そのあとに内訳を述べている"},
"no_contradiction": {"tier": "complex", "severity": "hard", "rule": "要約の中に、互いに矛盾する記述がない"},
"no_duplicate_findings": {"tier": "complex", "severity": "soft", "rule": "同じ結果を言い換えて繰り返していない"},
"not_misleading": {"tier": "complex", "severity": "hard",
"rule": "一部のセグメントや指標の結果を、全体に当てはまるように書いていない"},
"numbers_match": {"tier": "data", "severity": "hard",
"rule": "要約に書かれた数値がすべて元データと一致している。元データにない数値がない"},
"no_cherry_picking": {"tier": "data", "severity": "hard",
"rule": "元データにある悪化した結果 (改善率がマイナスの行) を書き漏らしていない"},
}
def _failure(check, reason):
return {"check": check, "tier": RULES[check]["tier"], "severity": RULES[check]["severity"], "reason": reason}
コードで判定する検証です。@mlflow.trace を付けておくと、この関数の入力と出力がトレースのスパンとして残ります。
@mlflow.trace(span_type="EVALUATOR")
def check_deterministic(summary):
failures = []
if "!" in summary or "!" in summary:
failures.append(_failure("no_exclamation", "感嘆符が含まれています"))
ids = re.findall(r"EXP-\d+", summary)
if ids:
failures.append(_failure("no_internal_id", f"実験IDが含まれています: {', '.join(sorted(set(ids)))}"))
abbr = re.findall(r"CVR|AOV|ARPU", summary)
if abbr:
failures.append(_failure("no_raw_abbreviation", f"略語が含まれています: {', '.join(sorted(set(abbr)))}"))
if len(summary) > 400:
failures.append(_failure("max_length", f"{len(summary)}文字あります"))
return failures
LLM で判定する検証は、段階ごとにルールをまとめてモデルに渡し、JSON で結果を受け取ります。
def _llm_check(tier, model, summary, data_text=None):
"""指定した段階のルールをまとめてモデルに判定させる"""
checks = {k: v for k, v in RULES.items() if v["tier"] == tier}
rule_lines = "\n".join(f"- {k}: {v['rule']}" for k, v in checks.items())
data_block = f"\n元データ:\n{data_text}\n" if data_text else ""
prompt = f"""次の要約が、各ルールを満たしているかを判定してください。
{data_block}
要約:
{summary}
ルール:
{rule_lines}
JSON の配列だけを出力してください。各要素は {{"check": ルール名, "passed": true または false, "reason": 理由}} の形にします。
ルールごとに 1 要素、合計 {len(checks)} 要素です。"""
raw = _complete(model, prompt)
try:
items = json.loads(raw[raw.find("["): raw.rfind("]") + 1])
except Exception:
# 判定結果を読めなかったときは、通したことにせず失敗として残します
return [{"check": f"{tier}_judge_unparseable", "tier": tier, "severity": "soft",
"reason": f"判定結果を読み取れませんでした: {raw[:100]}"}]
failures = []
for it in items:
if isinstance(it, dict) and it.get("check") in checks and it.get("passed") is False:
failures.append(_failure(it["check"], str(it.get("reason", ""))))
return failures
@mlflow.trace(span_type="EVALUATOR")
def check_simple(summary):
return _llm_check("simple", MODELS["judge_simple"], summary)
@mlflow.trace(span_type="EVALUATOR")
def check_complex(summary):
return _llm_check("complex", MODELS["judge_complex"], summary)
@mlflow.trace(span_type="EVALUATOR")
def check_data_quality(summary, data_text):
# 元データとの照合には、生成とは別のモデルを使います
return _llm_check("data", MODELS["judge_data"], summary, data_text)
@mlflow.trace(span_type="CHAIN")
def validate_summary(summary, data_text):
return (
check_deterministic(summary)
+ check_simple(summary)
+ check_complex(summary)
+ check_data_quality(summary, data_text)
)
今回は4段階を毎回すべて実行しています。ブログ記事も、作り直すたびに全チェックで検証し直す形です。コードの検証で落ちた時点で LLM の検証を省く作りにすれば、モデルの呼び出しをさらに減らせます。
生成、検証、作り直しのループ
ここが本体です。ブログ記事に載っている疑似コードを Python にしました。
- 検証に失敗したら、失敗の内容を文章にしてプロンプトの末尾に足し、作り直す
- 上限まで試したら、
hardの失敗が最も少ない試行を選ぶ。同数なら失敗の総数が少ない方を選ぶ - 選んだ試行に
hardの失敗が残っていれば HARD FAIL とし、要約の代わりに定型文を返す
FALLBACK_MESSAGE = "この実験の要約は自動検証を通過しなかったため、アナリストが確認中です。"
def convert_failures_to_feedback(failures):
lines = [f"- {RULES[f['check']]['rule'] if f['check'] in RULES else f['check']} (指摘: {f['reason']})"
for f in failures]
return "前回の要約は次の点で検証に通りませんでした。すべて直して書き直してください。\n" + "\n".join(lines)
@mlflow.trace(span_type="LLM")
def generate_summary(prompt_text, feedback=None):
if feedback:
prompt_text = prompt_text + "\n\n" + feedback
return _complete(MODELS["generator"], prompt_text)
def _count(failures):
hard = sum(1 for f in failures if f["severity"] == "hard")
return hard, len(failures)
@mlflow.trace(name="summarize_experiment", span_type="AGENT")
def summarize_experiment(experiment_id, prompt, max_attempts=MAX_ATTEMPTS):
exp = load_experiment(experiment_id)
base_prompt = prompt.format(
experiment_id=exp["experiment_id"], experiment_name=exp["experiment_name"], data=exp["text"]
)
attempts = []
feedback = None
for n in range(1, max_attempts + 1):
# 試行ごとにスパンを切ります。中で呼ぶ生成と検証は、このスパンの子になります
with mlflow.start_span(name=f"attempt_{n}", span_type="CHAIN") as span:
span.set_inputs({"feedback": feedback})
summary = generate_summary(base_prompt, feedback)
failures = validate_summary(summary, exp["text"])
span.set_outputs({"summary": summary, "failures": failures})
attempts.append({"attempt": n, "summary": summary, "failures": failures})
if not failures:
break
feedback = convert_failures_to_feedback(failures)
# hard の失敗が少ない試行を優先し、同数なら失敗の総数で選びます
best = min(attempts, key=lambda a: _count(a["failures"]))
hard, total = _count(best["failures"])
status = "HARD FAIL" if hard else ("SOFT FAIL" if total else "PASS")
return {
"experiment_id": experiment_id,
"data_text": exp["text"],
"summary": FALLBACK_MESSAGE if status == "HARD FAIL" else best["summary"],
"status": status,
"failures": best["failures"],
"attempts": attempts,
"attempt_count": len(attempts),
"selected_attempt": best["attempt"],
}
3つの実験を、2種類のプロンプトで要約します。
EXPERIMENT_IDS = ["EXP-2041", "EXP-2042", "EXP-2043"]
RUNS = []
for label, prompt in PROMPTS.items():
for exp_id in EXPERIMENT_IDS:
out = summarize_experiment(exp_id, prompt)
out["prompt"] = label
out["trace_id"] = mlflow.get_last_active_trace_id() # あとでジャッジの結果を書き込む先
RUNS.append(out)
print(f"{exp_id} / {label}: {out['status']} (試行 {out['attempt_count']} 回)")
実行結果
EXP-2041 / 雑なプロンプト: PASS (試行 2 回)
EXP-2042 / 雑なプロンプト: SOFT FAIL (試行 3 回)
EXP-2043 / 雑なプロンプト: PASS (試行 2 回)
EXP-2041 / ルール入りプロンプト: PASS (試行 1 回)
EXP-2042 / ルール入りプロンプト: PASS (試行 1 回)
EXP-2043 / ルール入りプロンプト: PASS (試行 1 回)
ルール入りプロンプトは3件とも1回で通りました。雑なプロンプトは3件とも1回目で落ち、2件は作り直しで通り、1件は SOFT FAIL になりました。
雑なプロンプトでも、作り直しで要約が直る
EXP-2041 を雑なプロンプトで要約したときの1回目です。見出しや絵文字の入った長い要約が返ってきました。冒頭だけ載せます。
# A/Bテスト結果要約
## 実験概要
- **実験ID**: EXP-2041
- **施策内容**: 購入ボタンの色変更
## 結果サマリー
### ✅ ポジティブな影響
- **CVR(全体)**: 3.2% → 3.52%(**+10.0%改善**, p=0.004)
(以下略)
コードの検証が3つの失敗を返しました。
| 失敗したチェック | 指摘 |
|---|---|
| no_internal_id | 実験IDが含まれています: EXP-2041 |
| no_raw_abbreviation | 略語が含まれています: AOV, CVR |
| max_length | 497文字あります |
この3つをプロンプトの末尾に足して作り直した2回目が次の要約です。全チェックを通りました。
購入ボタンの色変更テストの結果、コンバージョン率は全体で10.0%、新規ユーザーでは20.0%向上しました。一方、平均注文単価は3.0%低下しています。
新規ユーザーへの効果が特に大きく、ボタンの視認性向上が購入行動を促進したと考えられます。ただし、購入単価の低下については、より低価格の商品が購入されやすくなった可能性があり、収益への影響を総合的に評価する必要があります。
プロンプトにルールを書いていなくても、検証ルールがあれば要約はルールに沿った形に直ります。ただし、1件あたりのモデルの呼び出しは倍になります。ルール入りプロンプトが1回で通っていることと合わせると、検証で見つかった失敗をプロンプトに反映していくのが本筋だと分かります。プロンプトをバージョン管理する理由がここにあります。
作り直しても通らなかった実験
EXP-2042 を雑なプロンプトで要約したときは、3回試しても全チェックを通りませんでした。試行ごとの失敗は次のとおりです。
| 試行 | 失敗したチェック | 判定したもの |
|---|---|---|
| 1回目 | no_internal_id (soft)、no_raw_abbreviation (soft)、max_length (soft)、structure (soft) | コード、軽いモデル |
| 2回目 | not_misleading (hard) | 推論の強いモデル |
| 3回目 | no_internal_id (soft)、no_raw_abbreviation (soft) | コード |
最終的に選ばれたのは3回目です。失敗の数だけなら2回目の方が少ないのですが、2回目には hard の失敗があります。hard の失敗が少ない試行を優先するルールなので、soft が2つ残った3回目が選ばれ、SOFT FAIL として公開に回りました。
この実験からは、実装で気をつける点が2つ見えました。
1つ目は、作り直しで一度直った点が元に戻ることです。3回目では、1回目に指摘された実験IDと略語がまた入りました。作り直しのプロンプトに足すのは直前の試行の失敗だけです。これはブログ記事の疑似コードと同じ形です。2回目の失敗は not_misleading だけだったので、3回目のプロンプトには実験IDと略語の指摘が入っていませんでした。それまでの試行の指摘を累積して渡す形にすれば防げそうですが、今回は試していません。
2つ目は、LLM の判定が揺れることです。2回目の要約は「モバイルユーザーの購入率が8.9%向上しました」のように、文ごとにモバイルユーザーの結果だと明記していました。それでも推論の強いモデルは not_misleading を失敗と判定しました。判定理由を読むと、「適切に記述されていると判断できるため、passed を true に変更すべきかもしれません」と、モデル自身が迷っています。
コードの検証は同じ入力に同じ結果を返しますが、LLM の検証はそうとは限りません。検証する側も LLM である以上、その判定が妥当かを確かめる仕組みが要ります。これが2層目の話につながります。
トレースで試行を追う
summarize_experiment を1回呼ぶと、トレースが1本できます。EXP-2042 を雑なプロンプトで要約したときのトレースを開くと、attempt_1 から attempt_3 が並び、それぞれの中に生成と4段階の検証が入っています。
各スパンには入力と出力が残っています。attempt_2 の入力を見れば作り直しのプロンプトに何が足されたかが分かり、check_complex の出力を見ればどのルールがどんな理由で失敗になったかが分かります。先ほどの「モデル自身が迷っている」判定理由も、このスパンから読み取れます。
バッチ処理は、出力をその場で見る人がいません。おかしな要約が出たときに、どの試行のどの検証で何が起きたかを後からたどれることが、チャットアプリ以上に効いてきます。
ジャッジの結果をトレースに書き込む
ここからが2層目です。ブログ記事にならって、ジャッジを2種類作ります。
-
usefulness: 最終的な要約の有用性を1から3で採点する -
check_diagnosis: 失敗と判定されたチェックを見直し、検証側の誤判定だったものを挙げる
check_diagnosis は、要約ではなく検証ルールの方を評価するジャッジです。誤判定が多いルールが分かれば、ルールの文言を直す材料になります。指示文は、ブログ記事に載っている定義を参考に日本語で書きました。
from mlflow.entities import AssessmentSource
from mlflow.genai.judges import make_judge
JUDGE_MODEL = "databricks:/" + MODELS["judge_complex"]
USEFULNESS_INSTRUCTIONS = """A/B テスト結果の要約が、事業部門の担当者にとってどれだけ有用かを 1 から 3 の整数で採点してください。
3: 結論、内訳、悪化した結果がそろっていて、そのまま意思決定に使える
2: おおむね正しいが、読み手が元データを見直す必要がある
1: 誤りや抜けがあり、意思決定に使えない
実験の元データ: {{ inputs }}
要約: {{ outputs }}"""
DIAGNOSIS_INSTRUCTIONS = """要約の自動検証で失敗と判定されたチェックを見直してください。
inputs には、実験の元データと、失敗したチェックの一覧 (チェック名、ルールの文、指摘) が入っています。outputs は検証された要約です。
ルールの文だけを基準にして、誤判定されたチェックを探してください。誤判定とは、要約がルールを実際には満たしている場合、または指摘がルールの範囲外のことを問題にしている場合です。
誤判定されたチェック名をカンマ区切りで答えてください。誤判定がなければ none と答えてください。
理由には、要約の該当する語句と、ルールの文をどう変えれば誤判定を防げるかを書いてください。
inputs: {{ inputs }}
outputs: {{ outputs }}"""
usefulness_judge = make_judge(
name="usefulness", instructions=USEFULNESS_INSTRUCTIONS, model=JUDGE_MODEL, feedback_value_type=int
)
diagnosis_judge = make_judge(
name="check_diagnosis", instructions=DIAGNOSIS_INSTRUCTIONS, model=JUDGE_MODEL, feedback_value_type=str
)
def log_to_trace(trace_id, name, fb):
# 要約を作ったときのトレースに、ジャッジの結果を評価として書き込みます
mlflow.log_feedback(
trace_id=trace_id,
name=name,
value=fb.value,
rationale=fb.rationale,
source=AssessmentSource(source_type="LLM_JUDGE", source_id=JUDGE_MODEL),
)
要約ごとにジャッジを呼び、結果をトレースに書き込みます。check_diagnosis は、1回目の試行で失敗があった要約だけを対象にします。
for r in RUNS:
fb = usefulness_judge(inputs={"experiment_data": r["data_text"]}, outputs=r["summary"])
log_to_trace(r["trace_id"], "usefulness", fb)
first = r["attempts"][0]
if first["failures"]:
failed = [
{"check": f["check"], "rule": RULES.get(f["check"], {}).get("rule", ""), "reason": f["reason"]}
for f in first["failures"]
]
fb = diagnosis_judge(
inputs={"experiment_data": r["data_text"], "failed_checks": failed},
outputs=first["summary"],
)
log_to_trace(r["trace_id"], "check_diagnosis", fb)
これで、生成と検証の過程、最終的な要約、ジャッジの採点が同じトレースにまとまります。トレースの評価パネルを開くと、ジャッジごとの採点と根拠を確認できます。
ジャッジも、そのままでは信用できない
結果を見ると、ジャッジの側にも見直す点がありました。
usefulness は6件すべてが3でした。実験IDと略語が残ったまま SOFT FAIL になった EXP-2042 の要約も3です。採点理由には「実験IDや実験名を記載し、トレーサビリティを確保している」とあり、検証ルールで禁じたことを長所として挙げています。事業部門の担当者にとっての有用性を、ジャッジはまだ私と同じ基準で見ていません。
check_diagnosis の結果は次のとおりです。
| 実験 | 1回目に失敗したチェック | 誤判定だと診断されたチェック |
|---|---|---|
| EXP-2041 | no_internal_id、no_raw_abbreviation、max_length | no_internal_id、max_length |
| EXP-2042 | no_internal_id、no_raw_abbreviation、max_length、structure | no_raw_abbreviation、structure |
| EXP-2043 | no_internal_id、no_raw_abbreviation、max_length | no_internal_id、no_raw_abbreviation |
役に立つ指摘と、そうでない指摘が混ざっています。
役に立ったのは no_raw_abbreviation への指摘です。EXP-2042 の1回目の要約は、表では ARPU、CVR と略語で書き、結論では「1ユーザーあたりの売上」「コンバージョン率」と言い換えていました。ジャッジは、ルールの意図が略語だけで済ませないことにあるなら、「略語を使う場合は、必ず正式名称または説明を併記する」と書く方がよいと提案しています。略語を一切書かせないのか、説明付きなら認めるのかを、私はルールの文で決めきれていませんでした。これは check_diagnosis に期待していた使い方そのものです。
一方、max_length と no_internal_id はコードで判定しているので、誤判定は起きません。それでもジャッジは EXP-2041 で「実際に数えると400文字を超えていません」と診断しました。コードが数えた結果は497文字です。同じ max_length を、EXP-2043 では正しい判定だと診断しており、診断は実験ごとに揺れています。
原因は私の作りにあります。コードで判定したチェックまで LLM の診断に回す必要はありませんでした。診断の対象を LLM が判定したチェックに絞れば、この種の指摘は出なくなるはずです。こちらも今回は試していません。
要約を検証する LLM も、検証を診断する LLM も、判定を誤ることがあります。ブログ記事が月に一度、専門家の採点をもとにジャッジを調整しているのは、このためだと納得しました。ジャッジを人の基準に合わせる手順は、冒頭で挙げた以前の記事で試しています。
パイプラインならではの点
LLMOps の考え方はそのまま使えましたが、バッチ処理ならではの点も3つありました。
1つ目は、件数が多いことです。1件ずつ高性能なモデルで検証すると費用が膨らみます。検証を段階に分け、コードで見られるものはコードで見る、という設計は、チャットアプリの評価ではあまり前面に出てこない論点です。
2つ目は、元データが必ず手元にあることです。要約や抽出には入力となる表や文書があるので、出力を入力と照合する検証を組みやすくなります。今回の numbers_match と no_cherry_picking がこれに当たります。
3つ目は、失敗した行の扱いを決める必要があることです。応答を返して終わりではなく、テーブルに書くか止めるかを行ごとに決めます。soft と hard の区別は、データ品質のチェックで「警告して通す」と「落とす」を分けるのと同じ発想です。LLMOps の考え方に、従来のデータ品質管理の考え方が合流している、と見ると整理しやすいと思います。
まとめ
自己検証する AI 要約パイプラインを Databricks で動かして分かったことをまとめます。
- LLM を呼ぶバッチ処理にも、プロンプトのバージョン管理、トレース、ジャッジによる評価がそのまま使える
- 検証と作り直しを処理に組み込むと、雑なプロンプトでも要約はルールに沿った形に直る。 ただしモデルの呼び出しは増えるので、見つかった失敗はプロンプトに反映していく
- 検証は、コードで見られるものをコードで見て、LLM には LLM でないと判定できないものだけを任せる
- 作り直しのプロンプトに直前の失敗だけを足すと、一度直った点が元に戻ることがある
- 検証する LLM も、検証を診断するジャッジも判定を誤る。 コードで判定したチェックを LLM の診断に回すと、起きていない誤判定が報告される
- 試行ごとの生成と検証をトレースに残しておくと、どの検証で何が起きたかを後からたどれる
一番の収穫は、検証を入れれば終わりではない、と実感できたことでした。処理の中のチェックは出力を守りますが、そのチェックが妥当かどうかは別に見る必要があります。トレースを残し、ジャッジで採点し、人の基準に合わせて直していく。エージェントで回している LLMOps のループを、パイプラインでも同じように回すことになります。非構造化データを LLM で処理するパイプラインを作るときは、最初からこの2層を前提に設計するのが良さそうです。
参考リンク
- taka-yayoi/databricks-self-validating-summary-pipeline
- Building a Self-Validating AI Summary Pipeline on Databricks
- 生成AI対応 MLflow 3
- プロンプトの作成と編集
- 関数デコレータ
- カスタムジャッジ
- LLMジャッジを人間のフィードバックと整合させます





