はじめに
大学院の講義で「AIエージェントの理論と実践」を担当することになり、90分の講義で使うハンズオンを作りました。受講者はプログラミングの専門家ばかりではないので、AIエージェントが「何をしていて、どう動いていて、動かすだけでよいのか」を、手を動かしながら腹落ちさせることを狙っています。
環境は、無料で使える Databricks Free Edition です。ノートブックは GitHub に置いてあり、Free Edition の Git フォルダにクローンすればそのまま動きます。
最初は関連技術を順に紹介する構成で考えていましたが、それでは仕組みが見えないまま終わりそうだと気づき、1つの身近な質問を最後まで追いかける形に作り直しました。実際に動かして取れた出力も含めて書いていきます。
講義の組み立て:4つの問いと、1つの質問
講義は4つの問いに順に答える形にしました。前半30分の座学で4つの問いに答え、後半60分のハンズオンで、問いごとに対応するノートブックを動かします。
| 問い | ノートブック | やること |
|---|---|---|
| 1. AIエージェントとは何か | 01_llm_alone |
LLM だけに聞く → 情報を貼り付けてから聞く |
| 2. どのような仕組みで動くのか | 02_react_by_hand |
LLM が依頼したツールを自分で実行し、ループを手で回す |
| 3. 作って動かすにはどうするか | 03_build_agent |
ツールを Unity Catalog に登録し、エージェントを作る |
| 4. 動かすだけでよいのか | 04_evaluate_improve |
評価して、1か所直して、もう一度評価する |
そして、最初から最後まで同じ質問を使います。
今日の日替わり定食は何?
例をスライドごとに変えると、聞く側は毎回ゼロから状況を理解し直すことになります。1つの質問で通すと、「さっきはこれで失敗した、だから次はこうする」という流れで話をつなげられる。この点が、組み立てを考えるうえで一番効きました。
題材:架空の学食「ひかり食堂」
題材には、曜日ごとにメニューが決まっている架空の学食を用意しました。土日は休みです。
| 月 | 火 | 水 | 木 | 金 | |
|---|---|---|---|---|---|
| 日替わり定食 | 鶏の唐揚げ定食 520円 | サバの味噌煮定食 540円 | ハンバーグ定食 560円 | 豚の生姜焼き定食 530円 | 白身魚フライ定食 510円 |
| 麺 | 醤油ラーメン 450円 | きつねうどん 380円 | 冷やし中華 470円 | 天ぷらそば 490円 | 味噌ラーメン 480円 |
| カレー / 丼 | ビーフカレー 480円 | 親子丼 460円 | カツカレー 590円 | 牛丼 420円 | シーフードカレー 520円 |
| デザート | プリン 150円 | 杏仁豆腐 160円 | プリン 150円 | コーヒーゼリー 150円 | わらび餅 170円 |
業務っぽい題材にすることも考えましたが、仕組みを理解するのが目的なら、無理に業務に寄せる必要はありません。この題材を選んだのは、次の3つを満たすからです。
- 答えが正しいかどうかを、受講者がその場で判定できる
- LLM 単体では答えられないことが明らか(今日の日付も、この学食のメニューも知らない)
- ツールを2回以上呼ばないと答えられない(日付を調べてから、その曜日のメニューを調べる)
3つ目が大事で、ツールを1回呼ぶだけの題材だと、ループが回る様子が見えません。
もう1つの利点は、文書検索(ベクトル検索)を使わずに済むことです。PDF を取り込んで索引を作る準備がいらないので、事前準備は Free Edition へのログインとリポジトリのクローンだけになりました。メニュー表はノートブックの中で数秒で作ります。
問い1:LLM だけで答えられるか
まず、何も情報を渡さずに LLM に聞きます。
def ask(prompt):
"""LLM に1回だけ質問して、答えの文章を返す"""
resp = client.chat.completions.create(
model=MODEL,
messages=[{"role": "user", "content": prompt}],
)
return resp.choices[0].message.content
print(ask("ひかり食堂の、今日の日替わり定食は何ですか?"))
実行したのは2026年10月22日(木)なので、正解は「豚の生姜焼き定食」です。返ってきたのはこうでした。
ひかり食堂の今日の日替わり定食は、チキンカツ定食です。
存在しないメニューを、迷いなく答えています。同じセルをもう一度実行すると、今度は候補を5つ並べてきました。
おそらく、ひかり食堂の日替わり定食は、以下のどれかです。
1. しょうが焼き定食
2. チキンカツ定食
3. ハンバーグ定食
4. ビビンバ定食
5. カレー定食
次に、今日の日付と今日のメニューを人が調べて、プロンプトに貼り付けてから聞きます。
次の情報だけを使って答えてください。
# 今日の日付
2026-10-22(木)
# ひかり食堂の今日のメニュー(土日は休業)
日替わり定食:豚の生姜焼き定食 530円
麺:天ぷらそば 490円
丼:牛丼 420円
デザート:コーヒーゼリー 150円
# 質問
ひかり食堂の、今日の日替わり定食は何ですか?
今度は「豚の生姜焼き定食です。」と正しく答えました。足りなかったのは LLM の賢さではなく情報だった、ということが2回の実行で見えます。
ただし、質問が「明日のデザートは何?」に変われば明日の日付と明日のメニューが、「カレーがあるのは何曜日?」なら1週間分のメニューが要ります。人がやっているのは「何を調べるか決める」「調べる」「結果を渡す」の3つの作業で、これを人の代わりに行うのが AI エージェントです。講義では、ここで問い1の答えを出します。
問い2:LLM はツールを実行しない
ここからが本題です。3つの作業を分担します。何を調べるかを決めるのは LLM、実際に調べるのはツール(関数)です。その間に立って、LLM の依頼どおりにツールを呼び、結果を LLM に返すことを繰り返すのがループです(一般にはエージェントループ、オーケストレーターとも呼ばれます)。
ノートブックでは、各節の先頭にこの構造を図で示し、その節で扱う部分を赤枠で強調しています。02 の冒頭の図では、LLM とループが赤枠です。
利用者から見えるのは、質問と最終回答だけです。エージェントの中では、LLM が何をするかを決め、ループが依頼どおりにツールを呼んで結果を返す、というやり取りを答えが出るまで繰り返します。
ツールは、ふつうの関数
ツールは Python の関数として書きます。
def get_today():
"""今日の日付と曜日を返す(日本時間)"""
now = datetime.now(timezone(timedelta(hours=9)))
return f"{now:%Y-%m-%d}({'月火水木金土日'[now.weekday()]})"
def get_menu(weekday):
"""指定した曜日のメニューを返す"""
rows = spark.sql(
f"SELECT category, item, price FROM {MENU_TABLE} WHERE weekday = :w", args={"w": weekday}
).collect()
if not rows:
return "該当するメニューはありません"
return "\n".join(f"{r.category}:{r.item} {r.price}円" for r in rows)
LLM は関数の中身を読めないので、名前・説明・引数の説明を JSON で渡します。
tool_specs = [
{
"type": "function",
"function": {
"name": "get_today",
"description": "今日の日付と曜日を返します。",
"parameters": {"type": "object", "properties": {}},
},
},
{
"type": "function",
"function": {
"name": "get_menu",
"description": "ひかり食堂の、指定した曜日のメニューと値段を返します。土日は休業です。",
"parameters": {
"type": "object",
"properties": {
# この説明が、LLM が引数に何を入れるかを左右します(問い4で効いてきます)
"weekday": {"type": "string", "description": "曜日を1文字で。月, 火, 水, 木, 金, 土, 日 のいずれか"}
},
"required": ["weekday"],
},
},
},
]
LLM を呼ぶたびに渡すのは、会話の記録(messages)と、このツールの説明(tools)の2つです。ノートブックでは、これを構造図とは別の図にしました。
コードでは、client.chat.completions.create(model=MODEL, messages=messages, tools=tool_specs) の2つの引数に当たります。
受講者がループの役をやる
このノートブックの中心は、次の2つのセルを受講者が交互に実行するところです。
- セル A:LLM に会話の記録を渡し、次に何をするかを決めさせる
- セル B:LLM が依頼したツールを実行し、結果を会話の記録に足す
構造図で見ると、セル A が LLM、セル B がループの位置に当たります。
# セル A:LLM が考える
resp = client.chat.completions.create(model=MODEL, messages=messages, tools=tool_specs)
reply = resp.choices[0].message
print(json.dumps(reply.to_dict(), ensure_ascii=False, indent=2))
「今日の日替わり定食は何?」に対する最初の返事はこうでした。
{
"content": null,
"role": "assistant",
"tool_calls": [
{
"id": "call_64e86081-d500-48d6-b377-730dcd8ca9f0",
"function": {
"arguments": "{}",
"name": "get_today"
},
"type": "function"
}
]
}
content(答えの文章)は空で、tool_calls に「get_today を実行してほしい」という依頼だけが入っています。LLM は自分では何も実行していません。実行するのはセル B です。
# セル B:あなたが行動する(LLM の依頼どおりにツールを実行する)
if not reply.tool_calls:
print("依頼はありません。セル A で最終回答が出ています")
else:
messages.append(reply.to_dict()) # LLM の返事を会話の記録に足す
for call in reply.tool_calls:
args = json.loads(call.function.arguments or "{}")
result = TOOLS[call.function.name](**args) # ← ツールを実行しているのは、LLM ではなくこの行
messages.append({"role": "tool", "tool_call_id": call.id, "content": result})
2026-10-22(木) が返り、もう一度セル A を実行すると、今度は get_menu を 木 で呼んでほしいという依頼が来ます。その結果を渡すと、3回目のセル A で最終回答が出ます。考えて、行動して、結果を見て、また考える。この繰り返しは ReAct(Reasoning + Acting)と呼ばれる動き方で、受講者は自分の手でそれを回すことになります。
「LLM がツールを使う」という言い方はよく聞きますが、実際には LLM は依頼を返しているだけで、ツールはループの中で実行されています。ここを自分の手で確かめられるのが、このノートブックの一番の価値だと思っています。
ループをコードにする
手でやった A と B の繰り返しを for 文にすると、これだけになります。これがエージェントの本体です。
def run_agent(question, max_steps=6):
messages = [
{"role": "system", "content": "あなたはひかり食堂の案内係です。必要に応じてツールを使って答えてください。"},
{"role": "user", "content": question},
]
for step in range(max_steps):
reply = client.chat.completions.create(model=MODEL, messages=messages, tools=tool_specs).choices[0].message
if not reply.tool_calls: # 依頼がなければ、それが最終回答
return reply.content
messages.append(reply.to_dict())
for call in reply.tool_calls: # 依頼されたツールを実行して、結果を返す
args = json.loads(call.function.arguments or "{}")
result = TOOLS[call.function.name](**args)
print(f" [ステップ{step + 1}] {call.function.name}({args})")
messages.append({"role": "tool", "tool_call_id": call.id, "content": result})
# 無限に回らないよう上限を設けています
return "(繰り返しの上限に達しました)"
「カレーがあるのは何曜日?」と聞くと、LLM は1回の返事で月〜金の get_menu を5つまとめて依頼してきました。
[ステップ1] get_menu({'weekday': '月'})
[ステップ1] get_menu({'weekday': '火'})
[ステップ1] get_menu({'weekday': '水'})
[ステップ1] get_menu({'weekday': '木'})
[ステップ1] get_menu({'weekday': '金'})
ひかり食堂では、カレーが提供される曜日は以下の通りです:
- **月曜日**:ビーフカレー(480円)
- **水曜日**:カツカレー(590円)
- **金曜日**:シーフードカレー(520円)
問い2の答えは「エージェント = LLM + ツール + ループ」です。講義ではこの式を最初に見せず、ここまで手を動かした最後に結論として出します。
問い3:ツールは名前と説明で選ばれる
ツールを Unity Catalog に登録する
実際に使うときは、ツールを Unity Catalog に関数として登録します。誰が使えるかを権限で決められ、ほかのエージェントからも同じツールを使えます。関数に付けた COMMENT が、そのまま LLM に渡るツールの説明になります。
# ツール:曜日を受け取り、その日のメニューを返す(SQL で書いた関数)
spark.sql(f"""
CREATE OR REPLACE FUNCTION {CATALOG}.{SCHEMA}.get_menu(
weekday STRING COMMENT '曜日'
)
RETURNS STRING
COMMENT 'ひかり食堂の、指定した曜日のメニューと値段を返します。土日は休業です。'
RETURN (
SELECT concat_ws('\\n', collect_list(concat(category, ':', item, ' ', price, '円')))
FROM {MENU_TABLE} m
WHERE m.weekday = get_menu.weekday
)
""")
引数の説明をあえて「曜日」だけにしているのは、問い4への仕込みです。
登録した関数の名前・説明・引数を読み出して、LLM に渡すツールの説明を作ります。問い2で手書きした JSON と同じ形になります。
w = WorkspaceClient()
def tool_spec_from_uc(name):
f = w.functions.get(f"{CATALOG}.{SCHEMA}.{name}")
params = (f.input_params.parameters if f.input_params else None) or []
return {
"type": "function",
"function": {
"name": name,
"description": f.comment, # 関数の COMMENT がそのままツールの説明になる
"parameters": {
"type": "object",
"properties": {p.name: {"type": "string", "description": p.comment or ""} for p in params},
"required": [p.name for p in params],
},
},
}
ツールの実行は SQL から関数を呼ぶだけです。ループに mlflow.trace を付けておくと、どのツールがどの引数で呼ばれ、何が返ったかがトレースとしてセルの下に表示されます。
説明を曖昧にしても、名前で推測される
当初は「get_today の説明を『データを返します。』に変えると、LLM が使わなくなる」という実験を用意していました。ところが実際に試すと、LLM は変わらず get_today を呼んで正しく答えました。名前の get_today だけで、日付を返すツールだと判断できてしまうためです。ここで少し時間を溶かしました。
そこで、中身は同じ関数を、名前 tool_a、説明「データを返します。」で登録し直し、get_today の代わりに持たせました。
[ツール] get_menu({'weekday': '今日'}) → 該当するデータはありません …
すみません、今日が土曜日または日曜日のため、ひかり食堂は休業中です。日替わり定食の提供は行っておりません。平日のご来店をお待ちしております!
tool_a は使われず、LLM は get_menu に「今日」と渡しました。何も返らなかったため、木曜日なのに「土日なので休業」と答えています。中身が同じ関数でも、名前と説明だけで結果が変わる。ツールの名前と説明は、LLM への指示の一部だということがよく分かる例になりました。
問い4:動かすだけでよいのか
10問の評価データを作る
問い3までで、数回試した範囲ではエージェントはうまく動きました。では、聞き方を変えても正しく答えるでしょうか。
04 のノートブックでは、次の流れを図で示し、いまどの手順にいるかを赤枠で強調しています。
質問と正解の組を10問用意しました。正解はメニュー表から計算して作るので、「今日」「明日」を含む質問も実行した日に合わせて正解が変わります。
eval_data = [
("今日の日替わり定食は何?", f"今日({day(0)}曜日)の日替わり定食は {item_of(day(0), '日替わり定食')}"),
("明日のデザートは何?", f"明日({day(1)}曜日)のデザートは {item_of(day(1), 'デザート')}"),
("月曜日のカレーは何?", "月曜日のカレーはビーフカレー(480円)"),
("土曜日は営業していますか?", "土曜日は休業"),
("カレーがあるのは何曜日?", "月曜日(ビーフカレー)、水曜日(カツカレー)、金曜日(シーフードカレー)"),
# ほか5問
]
data = [{"inputs": {"question": q}, "expectations": {"expected_response": a}} for q, a in eval_data]
採点には MLflow の組み込み LLM ジャッジを使います。Correctness は正解と比べて正しいか、ToolCallEfficiency はツールを無駄に呼んでいないかを判定します。
from mlflow.genai.scorers import Correctness, ToolCallEfficiency
scorers = [Correctness(), ToolCallEfficiency()]
with mlflow.start_run(run_name="v1:直す前"):
result_v1 = mlflow.genai.evaluate(data=data, predict_fn=predict_fn, scorers=scorers)
結果
2026年10月22日と23日に、直す前の状態で3回、候補 A だけを直して2回、候補 B だけを直して3回評価しました(候補 A と B は下で説明します)。数値は10問のうち「良い」と判定された割合です。
| 実施日 | 設定 | Correctness | ToolCallEfficiency |
|---|---|---|---|
| 10/22 | 直す前(1回目) | 0.7 | 0.8 |
| 10/22 | 直す前(2回目) | 0.6 | 0.9 |
| 10/23 | 直す前 | 0.6 | 0.9 |
| 10/22 | 候補 A だけ直した | 0.9 | 0.9 |
| 10/23 | 候補 A だけ直した | 1.0 | 0.9 |
| 10/22 | 候補 B だけ直した | 0.9 | 0.8 |
| 10/23 | 候補 B だけ直した(1回目) | 0.9 | 0.7 |
| 10/23 | 候補 B だけ直した(2回目) | 0.7 | 0.7 |
直す前に不正解だった質問のトレースを見ると、原因ははっきりしていました。
Q=金曜日の日替わり定食の値段は? | calls=[get_menu(金曜日)]
→ 申し訳ありませんが、金曜日の日替わり定食の情報は現在、メニューに含まれていないようです。
引数の説明が「曜日」だけなので、LLM は 金曜日 と省略せずに渡していました。メニュー表の曜日は1文字なのでツールは何も返さず、LLM は「メニューにない」と答えています。問い3で仕込んだとおりの失敗です。
直す場所の候補は2つ用意しました。
- 候補 A:
get_menuの引数の説明を「曜日を1文字で。月, 火, 水, 木, 金, 土, 日 のいずれか」にする - 候補 B:システムプロンプトに「日付や曜日が関係する質問では、必ず最初に get_today で今日を確かめる」「メニューはツールの結果だけを使って答える」を足す
2つの候補は、どちらも LLM を呼ぶたびに渡すものの中にあります。候補 A は tools の中の引数の説明、候補 B は messages の最初の system の行です。
どちらか1つだけを変えて、同じ評価データでもう一度採点します。2か所を同時に変えると、何が効いたのか分からなくなるからです。
ノートブックでは、CHOICE に "A" か "B" を書いてから実行する形にしています。書かずに実行するとエラーで止まります。候補ごとにセルを分けていたときは、「すべてを実行」で流すと両方が適用されてしまい、点数が上がっても、どちらが効いたのか分かりませんでした。
# 3. で見つけた原因に合うほうを、"A" か "B" で書く
CHOICE = ""
if CHOICE == "A":
register_get_menu("曜日を1文字で。月, 火, 水, 木, 金, 土, 日 のいずれか")
SYSTEM_PROMPT_V2 = SYSTEM_PROMPT
elif CHOICE == "B":
register_get_menu("曜日") # 先に A を試していた場合に備えて、v1 の状態に戻す
SYSTEM_PROMPT_V2 = """あなたはひかり食堂の案内係です。
- 日付や曜日が関係する質問では、必ず最初に get_today で今日を確かめてください。
- メニューはツールの結果だけを使って答え、推測で答えないでください。"""
else:
raise ValueError('CHOICE に "A" か "B" を書いてから、もう一度実行してください')
候補 B でも点は上がるが、原因は直っていない
点数だけを見ると、どちらの候補でも上がります。トレースを見ると、違いがはっきりします。
- 候補 A では、すべての問いで
get_menuに月、金のように1文字で渡すようになりました。23日の評価では10問すべて正解です - 候補 B では、1文字で渡す問いは増えますが、
金曜日、月曜日と渡して「メニューがない」と答える問いが残りました。23日の1回目はその失敗が1問で 0.9、2回目は3問で 0.7 です
候補 B は、引数の書き方がずれるという原因に対する直し方ではないので、うまくいくかどうかがその回次第になります。10月22日の候補 B の 0.9 だけを見ると、直ったと受け取ってしまいます。点が上がったかどうかに加えて、原因の問いがトレースの上で直っているかを確かめる必要があります。
採点結果そのものも揺れる
表を見て気づくのは、同じ設定の「直す前」でも 0.6 から 0.7 の間で結果が揺れることです。LLM の出力は毎回少しずつ変わるので、1回の評価だけで良し悪しを決めない方が良さそうです。
正解になった問いの中にも、原因が隠れていることがありました。「明日のデザートは何?」では、23日の直す前と候補 B の2回目で get_menu に 土曜日 と渡し、ツールは何も返していません。明日が休業日だったので、「休業日でデザートはない」という答えがたまたま正解になっていました。
もう1つ、候補 A の評価では、「明日のデザートは何?」に「わらび餅(170円)」と正しく答えているのに、Correctness が no と判定された問いがありました。ジャッジも LLM なので間違えることがあります。点数だけを見ず、点の低い問いはトレースと回答を開いて自分の目で確かめる。この手順は講義でも強調するつもりです。
ToolCallEfficiency は、カレーの質問で get_menu を5回呼んだことを「無駄」と判定しました。1週間分を調べないと答えられない質問なので、これを無駄と見るかどうかは用途次第です。ジャッジの判定をそのまま受け入れるのではなく、何を測っているのかを理解して使う、という話にもつなげられます。
作ってみて分かったこと
図は「構造」と「渡すもの」に分ける
ノートブックの図は、%md-sandbox のセルに HTML で描いています。最初は、システムプロンプト・ツールの説明・会話の記録(messages)まで1枚の図にまとめていましたが、見直すと messages の箱だけが図の中で浮いていました。
1枚の図に、種類の違う話が3つ混ざっていたためです。利用者とエージェントのやり取り、エージェントの中で誰が何をするか、LLM に何を渡すか、の3つです。LLM・ループ・ツールは動くものですが、messages とツールの説明は LLM に渡すデータです。そこで、動くものだけを描く構造図と、LLM を呼ぶたびに渡すものを描く入力図の2種類に分けました。システムプロンプトも独立した箱にせず、messages の system の行として描いています。コードでもそうなっているからです。
入力図の messages の行に「セル A」「セル B」の印を付けた版も作りましたが、外しました。データの話と手順の話を1枚に重ねると読みにくいうえ、assistant の行を messages に足しているのは実際にはセル B なので、図として正しくなかったためです。
モデルによってツール呼び出しの返し方が違う
最初に使ったモデルでは、ツール呼び出しの依頼が tool_calls に入らず、[get_today()] のような文字列として本文に書かれて返ってくることがありました。そこで Free Edition で使えるモデルのうち6つに同じ3問を2回ずつ聞き、依頼を毎回 tool_calls で返し、ループが最後まで回るものを選びました。今回の題材では databricks-qwen3-next-80b-a3b-instruct がツール呼び出しを全問で期待どおりに返したので、これを使っています。
モデルによっては、日付を調べずに推測で曜日を決めて get_menu を呼ぶものもありました。ハンズオンでどのモデルを使うかは、題材の質問で実際にループを回して決めるのが確実です。
評価を並列で実行すると 429 になる
mlflow.genai.evaluate は、既定では評価データの複数の問いを同時に実行します。Free Edition の基盤モデルでは、1秒あたりの呼び出し回数の上限を超えて 429 REQUEST_LIMIT_EXCEEDED のエラーになりました。評価の前に環境変数で同時実行数を1にし、429 が返ったときの再試行回数を増やすと、最後まで動きました。10問の評価1回に、約75秒かかります。
import os
os.environ["MLFLOW_GENAI_EVAL_MAX_WORKERS"] = "1" # 1問ずつ順番に実行する(既定は 10)
os.environ["MLFLOW_GENAI_EVAL_MAX_RETRIES"] = "5" # 429 のときの再試行回数(既定は 3)
MLFLOW_GENAI_EVAL_MAX_RETRIES は MLflow 3.11.1 以降で使えます。環境変数の一覧は Databricks のドキュメントにあります。
OpenAI 互換のクライアントは databricks-openai から作る
LLM の呼び出しには OpenAI と同じ書き方ができるクライアントを使います。databricks-sdk の get_open_ai_client() は非推奨の警告が出るので、databricks-openai の DatabricksOpenAI を使います。
%pip install -qU databricks-openai
%restart_python
from databricks_openai import DatabricksOpenAI
# ノートブック上の認証情報がそのまま使われます。トークンを作る必要はありません
client = DatabricksOpenAI()
これで client.chat.completions.create(...) がそのまま使えます。
まとめ
AI エージェントのハンズオンを作って、実際に動かして分かったことをまとめます。
- 1つの質問(「今日の日替わり定食は何?」)を最後まで使うと、前の段階の失敗から次の段階を導く形で話をつなげられる
- 題材は業務に寄せなくてよい。正誤がすぐ分かり、ツールを2回以上呼ぶ必要があるものが仕組みの理解に向いている
- LLM はツールを実行しない。
contentが空でtool_callsに依頼が入った返事を返すだけで、ツールはループの中で実行される - ツールは名前と説明で選ばれる。説明を曖昧にしても名前で推測されることがあり、名前も説明も曖昧にすると使われなくなる
- 引数の説明が足りないと、引数の書き方がずれてツールが何も返さず、LLM がそれを「データがない」と答える
- 評価の点数は同じ設定でも揺れ、LLM ジャッジも間違えることがある。点の低い問いはトレースを開いて確かめる
- 原因に合わない直し方でも、点が上がることがある。点数に加えて、原因の問いがトレースの上で直っているかを確かめる
- ツール呼び出しの安定性はモデルによって違う。題材の質問で実際にループを回して選ぶ
一番の収穫は、「LLM は依頼を返すだけ」という一点を、受講者自身がループの役をやって確かめる構成にできたことでした。エージェントのフレームワークを使うと数行で動いてしまう分、中で何が起きているかが見えにくくなります。いったん手で回してからコードに任せる、という順番を踏むと、そのあとのトレースや評価の話もすっと入るように思います。
参考リンク
- taka-yayoi/ai-agent-handson
- Databricks Free Edition
- Databricks Free Edition の制限事項
- MLflow の組み込み LLM ジャッジ
- Yao et al. (2022) ReAct: Synergizing Reasoning and Acting in Language Models





