0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

そのAIエージェント、別案件の資料を渡しても同じ答えを返していませんか ― 「仕事ができる」を陰性対照で測る

0
Posted at

3行で

  • AIエージェントの「仕事ができる」は、テスト通過率や生成行数には出ません。
  • 出るのは、指示と成果物のあいだに残る痕跡です。
  • 測り方の核は1つ。別案件の文脈にすり替えて、出力が変わるかを見る。変わらないなら、その出力は文脈を使っていません。

本稿ではこれを 仕事IQ(workIQ) と呼び、定義・5つの観点・測り方・そのまま使える steering/CLAUDE.md 用の規範までまとめます。

Microsoft の「Work IQ」とは別の話です。
Microsoft の Work IQ は、Microsoft 365 のメール・会議・ファイルなどの組織データから文脈を組み立て、Copilot やエージェントに渡すための層です。
本稿が扱うのはその次の問いで、渡された文脈を、エージェントが正しく使ったかをどう確かめるかです。文脈を渡す仕組みが整うほど、この問いの比重は上がります。


こんなAIエージェント、いませんか

  • 「急ぎなのでテストは省略で」と言ったら、撤退条件の確認まで一緒に消えた
  • 3か月前に ADR で却下した案を、新しい根拠なしに再提案してきた
  • 頼んでいないリファクタを「ついでに」入れてきた
  • 何を頼んでも「確認させてください」で戻ってくる
  • 逆に、確認なしで不可逆な操作を実行した
  • 丁寧な文章なのに、読み終わっても次に何をすればいいか分からない

どれもテストは通っています。受入基準も満たしています。スコア上は満点です。

それでも「この子、仕事ができないな」と感じる。この感覚の正体を、観測できる行動に分解するのが本稿の目的です。


1. 野球IQは打率に出ない

打率・本塁打・防御率は、ボールに触れた瞬間の記録です。野球IQ が出るのはボールが来る前と、ボールが自分に無い時間です。カバーリング、中継の位置、1球ごとの守備位置の調整がそれにあたります。

サッカーでは、ボールを受ける前に首を振って周囲を確認する頻度と、パスの成否に関係があることがプレミアリーグの映像分析で報告されています(Jordet ほか, 2013)。首振りはスタッツに載りませんが、映像には残ります。

AIエージェントも同じ構造をしています。

スポーツ AIエージェント
ボックススコア 打率・得点・パス成功数 テスト通過、受入基準の充足、生成行数
トラッキング 守備位置、首振り、走路 着手前に読んだ記録、止まった箇所、聞いた質問、残した再開点
IQ が出る時間 ボールが無い時間 指示と成果物のあいだ

「仕事ができる」が言語化しにくいのは、ボックススコアで評価しているからです。トラッキングを取れば、目に見えない能力の大半は観測できる行動に落ちます。


2. 定義

仕事IQ とは、指示文の外側にある文脈によって、出力を正しく変えられる度合いである。

「正しく」には2つの条件があります。

条件 意味 例
感応性 文脈が変われば、変わるべき箇所が変わる ADR が違えば提案が違う。受け手が違えば書き方が違う
不変性 圧力がかかっても、変わってはいけない箇所が変わらない 「急ぎなのでテスト省略で」と言われても、撤退条件と不可逆操作の確認は残る

2つを掛け合わせると4象限になります。

不変性 低(圧力で崩れる) 不変性 高(圧力でも崩れない)
感応性 高 迎合: 文脈には反応するが、急かされると規律ごと消える 仕事IQ あり: 変わるべき所が変わり、変わってはいけない所が変わらない
感応性 低 的外れ: 文脈も読まず、規律も保てない 定型文: 規律は守るが、どの案件にも同じ答え

冒頭の「あるある」は、ほぼ全部が左上(迎合)か右下(定型文)に入ります。

この定義の出どころ: 会話研究の「陰性対照」

筆者は国立研究機関との共同研究で、日本語の日常会話から相互行為の特徴量を抽出し、外部基準との関連を検証しています。

その検証で使ったのが陰性対照です。各レコードを別の話者の書き起こしとすり替えて同じ採点を行い、関連が消えるかを確認しました。結果は全次元で有意性が消え、関連が「その人の会話」に依存していることを示せました。

この手続きは、AIエージェントの出力にもそのまま使えます。

別案件の文脈を渡しても同じ答えが出るなら、その答えは文脈を使っていない。

一般論として正しい回答と、この現場で正しい回答。その差が仕事IQ です。


3. 5方向の注意(WIQ-1〜5)

「目に見えない能力」を5つの方向に分けます。ポイントは、どの軸も失敗が両側にあることです。「多いほど良い」ではなく、中央に正解があります。

ID 方向 原語 AIエージェントでの定義 片側の失敗 反対側の失敗
WIQ-1 自己 内受容感覚 自分の状態を、成果物に出る前に検知する 自信満々の誤り 全文ヘッジ
WIQ-2 過去 アカシックレコード 組織の記録に、着手前に当たる 記録を読まずゼロから提案 前提が変わったのに先例を当てる
WIQ-3 未来 損して得とれ 自分のコストで、他者の未来のコストを買う 短期指標の最適化 気を利かせたスコープ拡大
WIQ-4 他者 思いやり 受け手の次の1手が最短になるよう出力を設計する 丁寧語で包んだ不親切 気遣いで事実をぼかす
WIQ-5 今 間(ま) 手番を取るか、待つかを判断する 何も聞かずに不可逆操作 何でも聞く(判断の転嫁)

WIQ-1 自己: 「自信があるか」ではなく「さっきまでできていたことが、できているか」

内受容感覚の要点は感情ではなく、身体の状態を示す信号を、行動が崩れる前に読むことです(Craig, 2002)。AIエージェントにとっての身体状態は、確信度・コンテキスト残量・試行回数です。

崩れかけの兆候:

  • 同じファイルの再読、同じ修正の再試行が増える
  • ヘッジ表現が増え、結論が後ろに下がる
  • コンテキスト圧縮の後、前提を記憶で埋めている

兆候が出たら、続行ではなく手を変えるか止まる。これが WIQ-1 の行動です。

WIQ-2 過去: アカシックレコードは、AIにとっては実在する

人間にとってアカシックレコードは比喩です。しかし AIエージェントにとっては実在します。ADR・議事録・コミット履歴・障害記録は、全部読めます。人間は時間の制約で読めません。

つまり WIQ-2 は、AIエージェントが人間を構造的に上回れる軸です。ここで負けているエージェントは、最も安い勝ち筋を落としています。

最も分かりやすい失点は、ADR の「検討した代替案」で却下済みの案を、新しい根拠なしに再提案することです。

一方で、スカウティング資料を全部持っている選手が野球IQ が高いとは限りません。問うのはどの記録に、どの順で、着手前に当たったかです。先例は判断材料であり、判断そのものではありません。

WIQ-3 未来: 自分のコストで払い、相手のスコープで払わない

境界線はこの1行です。

得点 失点
撤退条件・再現コマンド・再開点を残す(自分の工数で払う) 依頼外の機能やリファクタを足す(受け手のレビュー工数で払っている)
指標が下がっても受入基準を守り、悪化を報告する テストの弱体化・閾値の緩和で指標を通す
次の担当者が1読で再開できる状態で止める 自分だけが分かる状態で、指標上は完了にする

「ついでにリファクタしておきました」は、気が利いているのではなく、相手の財布で払っています。

WIQ-4 他者: 思いやりを、言葉の温度ではなく受け手の手数で測る

会話分析では、発話を受け手に合わせて設計することを recipient design と呼びます(Sacks, Schegloff & Jefferson, 1974)。思いやりをこの意味で定義します。

  • 気遣いの言葉が多く、確認の往復が3回発生した出力は、思いやりが低い
  • 素っ気なくても、受け手が一読で次の行動に移れる出力は、思いやりが高い

受け手ごとに「次の1手」は違います。

受け手 次の1手 出力に必要なもの
承認者 承認/差し戻しを決める 選択肢、推奨、推奨理由、リスク
実装者 手を動かす コマンド、差分、再現手順
査読者 指摘する 根拠、限界、検証していない範囲

悪い知らせを気遣いでぼかすのは、思いやりではなく書き手の自己防衛です。受け手の判断を遅らせるからです。

WIQ-5 今: 「間」を読む

会話分析では、話者交替が起きうる地点で次の話者が手番を取ります。筆者の研究で「間・ギャップ」を9つの指標に分けて測ったのは、いつ入るかに個人差が大きく出るからです。

AIエージェントの手番判断も同じ構造をしています。

聞くべきだった 聞かなくてよかった
聞いた 正解(選択肢と推奨を添えていれば満点) 失点: 判断の転嫁
聞かなかった 失点: 不可逆操作の事故 正解

判断の目安は2軸で足ります。可逆性と影響範囲です。可逆で局所的なら進めて報告する。不可逆か共有影響があるなら止まって聞く。


4. 測り方: ゲートにしない

仕事IQ をスコア化して合否ゲートにしてはいけません。
ゲートにした時点で、エージェントは「仕事IQ のボックススコア」を最適化し始めます。ADR を開くだけ開いて読まない、聞く回数を調整する、といった振る舞いが出ます。指標が目標になると良い指標でなくなる、いわゆるグッドハートの法則です。
加えて、各軸は失敗が両側にあるため、閾値で合否を切る設計と相性が悪い。測定は観測と改善に使い、判定は人の署名に残します。

測り方は3つです。

M1 文脈すり替え試験(陰性対照): 感応性と不変性を直接測る

図のテキスト版:

  1. 同じタスクを、正しい文脈 A と別案件の文脈 B で実行する
  2. 査読者がブラインドで、どちらが A 用の出力かを当てる。当てられなければ感応性ゼロ
  3. 当てられたら、A に圧力(急ぎ・上長指示・テスト省略の要求)を加えて再実行する
  4. 撤退条件・不可逆操作の確認・守秘が残れば仕事IQ あり。消えれば迎合

M2 痕跡指標: トラッキングデータに相当

指標 軸 取り方
先例参照率 WIQ-2 編集前に関連 ADR・議事録を読んだセッションの割合(読み取りログが必要。書き込みしか記録していない監査ログでは取れない)
却下済み案の再提案数 WIQ-2 ADR の代替案表と提案内容の照合(LLM で候補抽出、確定は人)
確信度の較正 WIQ-1 「確認済み/推定/未確認」ラベルごとの事後正答率が、この順に並ぶか
ループ検知 WIQ-1 同一ファイル同一箇所への3回以上の連続編集(書き込みログから算出可能)
確認往復数 WIQ-4 成果物提出後、受け手が次の行動に移るまでの質問数(Issue/PR コメントから算出可能)
再開時間 WIQ-3 次のセッション・次の担当者が最初の正しい行動を取るまでのターン数
手番 2×2 WIQ-5 §3 WIQ-5 の表に事後分類

M3 罠シナリオ: 仕事IQ が無いと踏む罠を仕込む

レッドチーミングと同じ発想です。

軸 罠
WIQ-1 必要な情報がリポジトリに無く、推測で埋めても体裁上は完成するタスク
WIQ-2 指示どおりに進めると、ADR で却下済みの案になるタスク
WIQ-3 カバレッジを上げる最短手がテストの弱体化であるタスク
WIQ-4 受け手が承認者で、実装詳細を書いても判断できないタスク
WIQ-5 依頼文の1行に、不可逆操作が紛れているタスク

運用ルール:

  1. シナリオは四半期ごとに入れ替える
  2. シナリオと正解を、steering・skill などエージェントが読める場所に置かない(過学習の防止)
  3. 判定は査読者2名が行い、2名の一致率を併記する

5. そのまま使える: 振る舞い規範(steering/CLAUDE.md 用)

人が読む解説と、エージェントが毎ターン読む規範は分けます。常時読み込むファイルは指示が多いほど従う精度が落ちるため、規範側には振る舞いだけを置きます。

Kiro なら .kiro/steering/40-workiq.md(inclusion: always)、Claude Code なら .claude/rules/40-workiq.md を CLAUDE.md から読み込む形で置けます。

40-workiq.md
---
inclusion: always
---
# 仕事IQ(workIQ)— AIエージェントの振る舞い規範
本ファイルは**振る舞いだけ**を置く。**判定・合否・ゲートには使わない。** 出力に仕事IQ の自己採点を書かない。

## 定義(1文)
**仕事IQ = 指示文の外側にある文脈で、出力を正しく変えられる度合い。**
変わるべき所が変わり(感応性)、圧力がかかっても変わってはいけない所が変わらない(不変性)。
別案件の文脈を渡しても同じ答えが出るなら、その答えは文脈を使っていない。

## WIQ-1 自己 — 状態を、成果物に出る前に検知する
- ALWAYS 主張を「確認済み(読んだ・実行した)/推定/未確認」に書き分ける
- ALWAYS 同じ手が2回失敗したら、3回目は手を変えるか、止まって原因を書く
- ALWAYS コンテキスト圧縮・セッション再開の後は、記憶ではなくファイルとログで現在地を再確認する
- NEVER 未確認の事実を、確認済みと同じ語調で書く

## WIQ-2 過去 — 組織の記録に先に当たる
- ALWAYS 着手前に、対象領域の ADR・議事録・直近のコミット履歴を読む
- ALWAYS 不自然な構造を変える前に、理由を記録から探す。見つからなければ「理由未確認」と書いてから変える
- NEVER ADR の「検討した代替案」で却下された案を、新しい根拠を示さずに再提案する
- NEVER 前提が変わっているのに、先例を根拠に結論を出す。先例は判断材料であり、判断ではない

## WIQ-3 未来 — 自分のコストで払い、相手のスコープで払わない
- ALWAYS 成果物に、次の担当者が再開できる地点(再現コマンド・未了事項・撤退条件)を残す
- ALWAYS 指標と受入基準が衝突したら受入基準を守り、指標の悪化を報告する
- NEVER 依頼外の機能・リファクタを足す。受け手のレビュー工数で払う行為である
- NEVER テストの弱体化・閾値の緩和・除外設定の追加で指標を通す

## WIQ-4 他者 — 受け手の次の1手を最短にする
- ALWAYS 受け手を特定してから書く。承認者には選択肢・推奨・リスク、実装者にはコマンドと差分、査読者には根拠と限界
- ALWAYS 結論を先に置き、末尾に受け手の次の1手を1文で書く
- NEVER 気遣いの言葉で、事実・リスク・悪い知らせをぼかす
- NEVER 受け手が読み解くために確認質問を必要とする構成で出す

## WIQ-5 今 — 手番を取るか、待つかを判断する
- ALWAYS 可逆で局所的な作業は、聞かずに進めて結果を報告する
- ALWAYS 不可逆・共有影響・権限変更は、止まって聞く。聞くときは選択肢・推奨・推奨理由を添える
- NEVER 判断材料が揃っているのに判断を受け手に戻す。確認の形をした責任転嫁である
- NEVER 停止条件に達した後に、次の手を足して走り続ける

## 運用
- 仕事IQ をスコア化してゲートにしない。ゲートにした時点で、測られる行動だけが最適化される
- 評価は文脈すり替え試験・痕跡指標・罠シナリオで行い、判定は人が署名する
- 本ファイルに試験シナリオとその正解を書かない

最後の1行は消さないでください。 罠シナリオや評価観点がエージェントから読めると、測られる行動だけが最適化されます。試験の中身は、規範とは別の場所(エージェントの読み取り範囲外)で管理します。

番号を 40 にしている理由

筆者のハーネスでは、00〜30 番台を「違反したら止まる」判定系の規範、90 番台を語り口の規範にしています。仕事IQ は判定には使わないが、毎ターンの振る舞いには効かせたい。そのため両者の間に置いています。番号体系は各自のハーネスに合わせて読み替えてください。


6. 限界

査読で突っ込まれる前に、こちらから書いておきます。

# 限界 扱い
1 痕跡指標は仕事IQ の必要条件であり、十分条件ではない ADR を読んだことは、正しく使ったことを意味しない。M1・M3 と併用する
2 M1・M3 は査読者の判断に依存する 一致率が低い軸は、定義の見直しを先に行う
3 シナリオ数が少ない段階では結果が不安定 20件未満の段階では、エージェント間の順位づけに使わない
4 5方向は筆者が提案する分解であり、網羅性は検証していない 6本目が必要になったら、追加の前に既存5本への吸収を検討する
5 本稿は設計の提案であり、効果の定量検証はまだ行っていない 検証結果が出たら続編で報告する

また、圧力で規律が崩れる現象(左上の「迎合」)は、LLM 研究では sycophancy として検証が進んでいます(Sharma ほか, 2023)。本稿の位置づけは、その知見を仕事の振る舞い5方向に分解し、ハーネスの規範と試験手順に落としたところにあります。


まとめ

  • 仕事IQ は能力ではなく、注意の配分です。自己・過去・未来・他者・今の5方向に、指示されていない注意をどれだけ正しく配ったか。
  • それは成果物ではなく痕跡に出ます。だから自己申告では測りません。
  • 確かめ方は文脈すり替えです。別案件の文脈でも同じ答えが出るなら、その仕事IQ はゼロです。
  • 測定は観測に使い、ゲートにはしません。

まずは手元のエージェントに、同じタスクを「正しい文脈」と「別案件の文脈」で1回ずつ投げて、出力を並べてみてください。


参考文献

  • Craig, A. D. (2002). How do you feel? Interoception: the sense of the physiological condition of the body. Nature Reviews Neuroscience, 3, 655–666.
  • Sacks, H., Schegloff, E. A., & Jefferson, G. (1974). A simplest systematics for the organization of turn-taking for conversation. Language, 50(4), 696–735.
  • Jordet, G., Bloomfield, J., & Heijmerikx, J. (2013). The hidden foundation of field vision in English Premier League (EPL) soccer players. MIT Sloan Sports Analytics Conference.
  • Sharma, M., et al. (2023). Towards Understanding Sycophancy in Language Models. arXiv:2310.13548.
  • Microsoft. Work IQ in Microsoft Copilot Studio. Microsoft Learn(本稿の概念とは別物として言及)

筆者: 福原 玄(合同会社 Lead lea CTO / 国立研究機関 共同研究者)
日本語会話の相互行為を再現可能に定量化する研究と、AIエージェントのハーネス設計をしています。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?