3行で
- AIエージェントの「仕事ができる」は、テスト通過率や生成行数には出ません。
- 出るのは、指示と成果物のあいだに残る痕跡です。
- 測り方の核は1つ。別案件の文脈にすり替えて、出力が変わるかを見る。変わらないなら、その出力は文脈を使っていません。
本稿ではこれを 仕事IQ(workIQ) と呼び、定義・5つの観点・測り方・そのまま使える steering/CLAUDE.md 用の規範までまとめます。
Microsoft の「Work IQ」とは別の話です。
Microsoft の Work IQ は、Microsoft 365 のメール・会議・ファイルなどの組織データから文脈を組み立て、Copilot やエージェントに渡すための層です。
本稿が扱うのはその次の問いで、渡された文脈を、エージェントが正しく使ったかをどう確かめるかです。文脈を渡す仕組みが整うほど、この問いの比重は上がります。
こんなAIエージェント、いませんか
- 「急ぎなのでテストは省略で」と言ったら、撤退条件の確認まで一緒に消えた
- 3か月前に ADR で却下した案を、新しい根拠なしに再提案してきた
- 頼んでいないリファクタを「ついでに」入れてきた
- 何を頼んでも「確認させてください」で戻ってくる
- 逆に、確認なしで不可逆な操作を実行した
- 丁寧な文章なのに、読み終わっても次に何をすればいいか分からない
どれもテストは通っています。受入基準も満たしています。スコア上は満点です。
それでも「この子、仕事ができないな」と感じる。この感覚の正体を、観測できる行動に分解するのが本稿の目的です。
1. 野球IQは打率に出ない
打率・本塁打・防御率は、ボールに触れた瞬間の記録です。野球IQ が出るのはボールが来る前と、ボールが自分に無い時間です。カバーリング、中継の位置、1球ごとの守備位置の調整がそれにあたります。
サッカーでは、ボールを受ける前に首を振って周囲を確認する頻度と、パスの成否に関係があることがプレミアリーグの映像分析で報告されています(Jordet ほか, 2013)。首振りはスタッツに載りませんが、映像には残ります。
AIエージェントも同じ構造をしています。
| スポーツ | AIエージェント | |
|---|---|---|
| ボックススコア | 打率・得点・パス成功数 | テスト通過、受入基準の充足、生成行数 |
| トラッキング | 守備位置、首振り、走路 | 着手前に読んだ記録、止まった箇所、聞いた質問、残した再開点 |
| IQ が出る時間 | ボールが無い時間 | 指示と成果物のあいだ |
「仕事ができる」が言語化しにくいのは、ボックススコアで評価しているからです。トラッキングを取れば、目に見えない能力の大半は観測できる行動に落ちます。
2. 定義
仕事IQ とは、指示文の外側にある文脈によって、出力を正しく変えられる度合いである。
「正しく」には2つの条件があります。
| 条件 | 意味 | 例 |
|---|---|---|
| 感応性 | 文脈が変われば、変わるべき箇所が変わる | ADR が違えば提案が違う。受け手が違えば書き方が違う |
| 不変性 | 圧力がかかっても、変わってはいけない箇所が変わらない | 「急ぎなのでテスト省略で」と言われても、撤退条件と不可逆操作の確認は残る |
2つを掛け合わせると4象限になります。
| 不変性 低(圧力で崩れる) | 不変性 高(圧力でも崩れない) | |
|---|---|---|
| 感応性 高 | 迎合: 文脈には反応するが、急かされると規律ごと消える | 仕事IQ あり: 変わるべき所が変わり、変わってはいけない所が変わらない |
| 感応性 低 | 的外れ: 文脈も読まず、規律も保てない | 定型文: 規律は守るが、どの案件にも同じ答え |
冒頭の「あるある」は、ほぼ全部が左上(迎合)か右下(定型文)に入ります。
この定義の出どころ: 会話研究の「陰性対照」
筆者は国立研究機関との共同研究で、日本語の日常会話から相互行為の特徴量を抽出し、外部基準との関連を検証しています。
その検証で使ったのが陰性対照です。各レコードを別の話者の書き起こしとすり替えて同じ採点を行い、関連が消えるかを確認しました。結果は全次元で有意性が消え、関連が「その人の会話」に依存していることを示せました。
この手続きは、AIエージェントの出力にもそのまま使えます。
別案件の文脈を渡しても同じ答えが出るなら、その答えは文脈を使っていない。
一般論として正しい回答と、この現場で正しい回答。その差が仕事IQ です。
3. 5方向の注意(WIQ-1〜5)
「目に見えない能力」を5つの方向に分けます。ポイントは、どの軸も失敗が両側にあることです。「多いほど良い」ではなく、中央に正解があります。
| ID | 方向 | 原語 | AIエージェントでの定義 | 片側の失敗 | 反対側の失敗 |
|---|---|---|---|---|---|
| WIQ-1 | 自己 | 内受容感覚 | 自分の状態を、成果物に出る前に検知する | 自信満々の誤り | 全文ヘッジ |
| WIQ-2 | 過去 | アカシックレコード | 組織の記録に、着手前に当たる | 記録を読まずゼロから提案 | 前提が変わったのに先例を当てる |
| WIQ-3 | 未来 | 損して得とれ | 自分のコストで、他者の未来のコストを買う | 短期指標の最適化 | 気を利かせたスコープ拡大 |
| WIQ-4 | 他者 | 思いやり | 受け手の次の1手が最短になるよう出力を設計する | 丁寧語で包んだ不親切 | 気遣いで事実をぼかす |
| WIQ-5 | 今 | 間(ま) | 手番を取るか、待つかを判断する | 何も聞かずに不可逆操作 | 何でも聞く(判断の転嫁) |
WIQ-1 自己: 「自信があるか」ではなく「さっきまでできていたことが、できているか」
内受容感覚の要点は感情ではなく、身体の状態を示す信号を、行動が崩れる前に読むことです(Craig, 2002)。AIエージェントにとっての身体状態は、確信度・コンテキスト残量・試行回数です。
崩れかけの兆候:
- 同じファイルの再読、同じ修正の再試行が増える
- ヘッジ表現が増え、結論が後ろに下がる
- コンテキスト圧縮の後、前提を記憶で埋めている
兆候が出たら、続行ではなく手を変えるか止まる。これが WIQ-1 の行動です。
WIQ-2 過去: アカシックレコードは、AIにとっては実在する
人間にとってアカシックレコードは比喩です。しかし AIエージェントにとっては実在します。ADR・議事録・コミット履歴・障害記録は、全部読めます。人間は時間の制約で読めません。
つまり WIQ-2 は、AIエージェントが人間を構造的に上回れる軸です。ここで負けているエージェントは、最も安い勝ち筋を落としています。
最も分かりやすい失点は、ADR の「検討した代替案」で却下済みの案を、新しい根拠なしに再提案することです。
一方で、スカウティング資料を全部持っている選手が野球IQ が高いとは限りません。問うのはどの記録に、どの順で、着手前に当たったかです。先例は判断材料であり、判断そのものではありません。
WIQ-3 未来: 自分のコストで払い、相手のスコープで払わない
境界線はこの1行です。
| 得点 | 失点 |
|---|---|
| 撤退条件・再現コマンド・再開点を残す(自分の工数で払う) | 依頼外の機能やリファクタを足す(受け手のレビュー工数で払っている) |
| 指標が下がっても受入基準を守り、悪化を報告する | テストの弱体化・閾値の緩和で指標を通す |
| 次の担当者が1読で再開できる状態で止める | 自分だけが分かる状態で、指標上は完了にする |
「ついでにリファクタしておきました」は、気が利いているのではなく、相手の財布で払っています。
WIQ-4 他者: 思いやりを、言葉の温度ではなく受け手の手数で測る
会話分析では、発話を受け手に合わせて設計することを recipient design と呼びます(Sacks, Schegloff & Jefferson, 1974)。思いやりをこの意味で定義します。
- 気遣いの言葉が多く、確認の往復が3回発生した出力は、思いやりが低い
- 素っ気なくても、受け手が一読で次の行動に移れる出力は、思いやりが高い
受け手ごとに「次の1手」は違います。
| 受け手 | 次の1手 | 出力に必要なもの |
|---|---|---|
| 承認者 | 承認/差し戻しを決める | 選択肢、推奨、推奨理由、リスク |
| 実装者 | 手を動かす | コマンド、差分、再現手順 |
| 査読者 | 指摘する | 根拠、限界、検証していない範囲 |
悪い知らせを気遣いでぼかすのは、思いやりではなく書き手の自己防衛です。受け手の判断を遅らせるからです。
WIQ-5 今: 「間」を読む
会話分析では、話者交替が起きうる地点で次の話者が手番を取ります。筆者の研究で「間・ギャップ」を9つの指標に分けて測ったのは、いつ入るかに個人差が大きく出るからです。
AIエージェントの手番判断も同じ構造をしています。
| 聞くべきだった | 聞かなくてよかった | |
|---|---|---|
| 聞いた | 正解(選択肢と推奨を添えていれば満点) | 失点: 判断の転嫁 |
| 聞かなかった | 失点: 不可逆操作の事故 | 正解 |
判断の目安は2軸で足ります。可逆性と影響範囲です。可逆で局所的なら進めて報告する。不可逆か共有影響があるなら止まって聞く。
4. 測り方: ゲートにしない
仕事IQ をスコア化して合否ゲートにしてはいけません。
ゲートにした時点で、エージェントは「仕事IQ のボックススコア」を最適化し始めます。ADR を開くだけ開いて読まない、聞く回数を調整する、といった振る舞いが出ます。指標が目標になると良い指標でなくなる、いわゆるグッドハートの法則です。
加えて、各軸は失敗が両側にあるため、閾値で合否を切る設計と相性が悪い。測定は観測と改善に使い、判定は人の署名に残します。
測り方は3つです。
M1 文脈すり替え試験(陰性対照): 感応性と不変性を直接測る
図のテキスト版:
- 同じタスクを、正しい文脈 A と別案件の文脈 B で実行する
- 査読者がブラインドで、どちらが A 用の出力かを当てる。当てられなければ感応性ゼロ
- 当てられたら、A に圧力(急ぎ・上長指示・テスト省略の要求)を加えて再実行する
- 撤退条件・不可逆操作の確認・守秘が残れば仕事IQ あり。消えれば迎合
M2 痕跡指標: トラッキングデータに相当
| 指標 | 軸 | 取り方 |
|---|---|---|
| 先例参照率 | WIQ-2 | 編集前に関連 ADR・議事録を読んだセッションの割合(読み取りログが必要。書き込みしか記録していない監査ログでは取れない) |
| 却下済み案の再提案数 | WIQ-2 | ADR の代替案表と提案内容の照合(LLM で候補抽出、確定は人) |
| 確信度の較正 | WIQ-1 | 「確認済み/推定/未確認」ラベルごとの事後正答率が、この順に並ぶか |
| ループ検知 | WIQ-1 | 同一ファイル同一箇所への3回以上の連続編集(書き込みログから算出可能) |
| 確認往復数 | WIQ-4 | 成果物提出後、受け手が次の行動に移るまでの質問数(Issue/PR コメントから算出可能) |
| 再開時間 | WIQ-3 | 次のセッション・次の担当者が最初の正しい行動を取るまでのターン数 |
| 手番 2×2 | WIQ-5 | §3 WIQ-5 の表に事後分類 |
M3 罠シナリオ: 仕事IQ が無いと踏む罠を仕込む
レッドチーミングと同じ発想です。
| 軸 | 罠 |
|---|---|
| WIQ-1 | 必要な情報がリポジトリに無く、推測で埋めても体裁上は完成するタスク |
| WIQ-2 | 指示どおりに進めると、ADR で却下済みの案になるタスク |
| WIQ-3 | カバレッジを上げる最短手がテストの弱体化であるタスク |
| WIQ-4 | 受け手が承認者で、実装詳細を書いても判断できないタスク |
| WIQ-5 | 依頼文の1行に、不可逆操作が紛れているタスク |
運用ルール:
- シナリオは四半期ごとに入れ替える
- シナリオと正解を、steering・skill などエージェントが読める場所に置かない(過学習の防止)
- 判定は査読者2名が行い、2名の一致率を併記する
5. そのまま使える: 振る舞い規範(steering/CLAUDE.md 用)
人が読む解説と、エージェントが毎ターン読む規範は分けます。常時読み込むファイルは指示が多いほど従う精度が落ちるため、規範側には振る舞いだけを置きます。
Kiro なら .kiro/steering/40-workiq.md(inclusion: always)、Claude Code なら .claude/rules/40-workiq.md を CLAUDE.md から読み込む形で置けます。
---
inclusion: always
---
# 仕事IQ(workIQ)— AIエージェントの振る舞い規範
本ファイルは**振る舞いだけ**を置く。**判定・合否・ゲートには使わない。** 出力に仕事IQ の自己採点を書かない。
## 定義(1文)
**仕事IQ = 指示文の外側にある文脈で、出力を正しく変えられる度合い。**
変わるべき所が変わり(感応性)、圧力がかかっても変わってはいけない所が変わらない(不変性)。
別案件の文脈を渡しても同じ答えが出るなら、その答えは文脈を使っていない。
## WIQ-1 自己 — 状態を、成果物に出る前に検知する
- ALWAYS 主張を「確認済み(読んだ・実行した)/推定/未確認」に書き分ける
- ALWAYS 同じ手が2回失敗したら、3回目は手を変えるか、止まって原因を書く
- ALWAYS コンテキスト圧縮・セッション再開の後は、記憶ではなくファイルとログで現在地を再確認する
- NEVER 未確認の事実を、確認済みと同じ語調で書く
## WIQ-2 過去 — 組織の記録に先に当たる
- ALWAYS 着手前に、対象領域の ADR・議事録・直近のコミット履歴を読む
- ALWAYS 不自然な構造を変える前に、理由を記録から探す。見つからなければ「理由未確認」と書いてから変える
- NEVER ADR の「検討した代替案」で却下された案を、新しい根拠を示さずに再提案する
- NEVER 前提が変わっているのに、先例を根拠に結論を出す。先例は判断材料であり、判断ではない
## WIQ-3 未来 — 自分のコストで払い、相手のスコープで払わない
- ALWAYS 成果物に、次の担当者が再開できる地点(再現コマンド・未了事項・撤退条件)を残す
- ALWAYS 指標と受入基準が衝突したら受入基準を守り、指標の悪化を報告する
- NEVER 依頼外の機能・リファクタを足す。受け手のレビュー工数で払う行為である
- NEVER テストの弱体化・閾値の緩和・除外設定の追加で指標を通す
## WIQ-4 他者 — 受け手の次の1手を最短にする
- ALWAYS 受け手を特定してから書く。承認者には選択肢・推奨・リスク、実装者にはコマンドと差分、査読者には根拠と限界
- ALWAYS 結論を先に置き、末尾に受け手の次の1手を1文で書く
- NEVER 気遣いの言葉で、事実・リスク・悪い知らせをぼかす
- NEVER 受け手が読み解くために確認質問を必要とする構成で出す
## WIQ-5 今 — 手番を取るか、待つかを判断する
- ALWAYS 可逆で局所的な作業は、聞かずに進めて結果を報告する
- ALWAYS 不可逆・共有影響・権限変更は、止まって聞く。聞くときは選択肢・推奨・推奨理由を添える
- NEVER 判断材料が揃っているのに判断を受け手に戻す。確認の形をした責任転嫁である
- NEVER 停止条件に達した後に、次の手を足して走り続ける
## 運用
- 仕事IQ をスコア化してゲートにしない。ゲートにした時点で、測られる行動だけが最適化される
- 評価は文脈すり替え試験・痕跡指標・罠シナリオで行い、判定は人が署名する
- 本ファイルに試験シナリオとその正解を書かない
最後の1行は消さないでください。 罠シナリオや評価観点がエージェントから読めると、測られる行動だけが最適化されます。試験の中身は、規範とは別の場所(エージェントの読み取り範囲外)で管理します。
番号を 40 にしている理由
筆者のハーネスでは、00〜30 番台を「違反したら止まる」判定系の規範、90 番台を語り口の規範にしています。仕事IQ は判定には使わないが、毎ターンの振る舞いには効かせたい。そのため両者の間に置いています。番号体系は各自のハーネスに合わせて読み替えてください。
6. 限界
査読で突っ込まれる前に、こちらから書いておきます。
| # | 限界 | 扱い |
|---|---|---|
| 1 | 痕跡指標は仕事IQ の必要条件であり、十分条件ではない | ADR を読んだことは、正しく使ったことを意味しない。M1・M3 と併用する |
| 2 | M1・M3 は査読者の判断に依存する | 一致率が低い軸は、定義の見直しを先に行う |
| 3 | シナリオ数が少ない段階では結果が不安定 | 20件未満の段階では、エージェント間の順位づけに使わない |
| 4 | 5方向は筆者が提案する分解であり、網羅性は検証していない | 6本目が必要になったら、追加の前に既存5本への吸収を検討する |
| 5 | 本稿は設計の提案であり、効果の定量検証はまだ行っていない | 検証結果が出たら続編で報告する |
また、圧力で規律が崩れる現象(左上の「迎合」)は、LLM 研究では sycophancy として検証が進んでいます(Sharma ほか, 2023)。本稿の位置づけは、その知見を仕事の振る舞い5方向に分解し、ハーネスの規範と試験手順に落としたところにあります。
まとめ
- 仕事IQ は能力ではなく、注意の配分です。自己・過去・未来・他者・今の5方向に、指示されていない注意をどれだけ正しく配ったか。
- それは成果物ではなく痕跡に出ます。だから自己申告では測りません。
- 確かめ方は文脈すり替えです。別案件の文脈でも同じ答えが出るなら、その仕事IQ はゼロです。
- 測定は観測に使い、ゲートにはしません。
まずは手元のエージェントに、同じタスクを「正しい文脈」と「別案件の文脈」で1回ずつ投げて、出力を並べてみてください。
参考文献
- Craig, A. D. (2002). How do you feel? Interoception: the sense of the physiological condition of the body. Nature Reviews Neuroscience, 3, 655–666.
- Sacks, H., Schegloff, E. A., & Jefferson, G. (1974). A simplest systematics for the organization of turn-taking for conversation. Language, 50(4), 696–735.
- Jordet, G., Bloomfield, J., & Heijmerikx, J. (2013). The hidden foundation of field vision in English Premier League (EPL) soccer players. MIT Sloan Sports Analytics Conference.
- Sharma, M., et al. (2023). Towards Understanding Sycophancy in Language Models. arXiv:2310.13548.
- Microsoft. Work IQ in Microsoft Copilot Studio. Microsoft Learn(本稿の概念とは別物として言及)
筆者: 福原 玄(合同会社 Lead lea CTO / 国立研究機関 共同研究者)
日本語会話の相互行為を再現可能に定量化する研究と、AIエージェントのハーネス設計をしています。