会社の仕事にAIを使う人が増えました。
でも、そのAIが「元を取れているか」を数字で確かめる会社は少ないです。
今回は「効果は感覚でなく数字で測ろう」と説く記事を紹介します。
読めば、自分やチームのAIが本当に得かを見分ける物差しが持てます。
目次
- 「速くなった気がする」は当てにならない
- 数えても意味がない指標
- 代わりに何を測るか
- 数字の出どころに注意
「速くなった気がする」は当てにならない
まず、気になる数字を並べます。
| 数字 | 中身 | 出どころ |
|---|---|---|
| 2.1倍 | 仕事が速くなった量 | ある会社1社の報告 |
| 月2万1千ドル | よく使う人1人の利用料 | 同じ会社の報告 |
| 感覚20%速い / 実測19%遅い | 感覚と現実のズレ | METRの実験(下記) |
効果もお金も大きいことが分かります。
気をつけたいのは、いちばん下の行です。
この差は、METRという団体の実験で示されました。
熟練の開発者16人に、実際の作業246件をしてもらう実験です。
AIを使う作業と使わない作業を、くじで振り分けました(2025年7月公開)。
結果、開発者は「20%速くなった」と感じました。
ところが実際は19%遅くなっていました。
使った道具はCursorとClaude 3.5/3.7です。
ただしこれは初期のAIでの結果です。
その後モデルは改良され、今も同じとは限りません。
数えても意味がない指標
では何を見ればいいのか。
著者はまず「これで測ってはダメ」という例を挙げます。
コードの行数はダメです。
AIは長く書きがちで、多い=良いではありません。
PR(作業のまとまりを申請する単位)の件数もダメです。
数はいくらでも水増しできます。
個人の成績表にするのも危険です。
数字が目標になると、人はその数字だけを追います。
だから「人」ではなく「やり方」を測るべきだ、と著者は言います。
代わりに何を測るか
流れを図にすると、こうなります。
[これまで]
AI導入
↓
速くなった気がする
↓
満足して終わり
[これから]
AI導入
↓
速さ・副作用・成果を測る
↓
得か損か、はっきり分かる
上が今までのやり方、下がこの記事のすすめです。
矢印は流れの順番を表します。
同じAI導入でも、下は途中で速さ・副作用・成果を測ります。
それぞれの中身はこうです。
速さは、仕事が本当に早く終わるか。
副作用は、あとで直す手間や、人の疲れが増えないか。
成果は、その速さが会社の利益につながるか。
新しいのは、感覚や行数ではなく、副作用まで含めて測る点です。
とくに副作用は見落とされがちです。
機能を2倍作れても、直す手間が2倍なら、得は数か月で消えます。
数字の出どころに注意
「2.1倍」「月2万1千ドル」は、ある会社1社の体験談です。
著者自身も、根拠は強くないと断っています。
一方、感覚と実測のズレは、実験できちんと確かめられています。
だから前者は参考、後者は事実として扱うのが安全です。
会社や自分がAIに課金しているなら、まず測る数字を1つ決めてみましょう。
出典: James Shore「Are you getting your money's worth from AI?」(全4回の第1回)。ニュースレター『Leadership in Tech』で紹介。
原文: https://www.jamesshore.com/v2/blog/2026/are-you-getting-your-moneys-worth-from-ai
一次ソース(感覚と実測のズレ): METR, 2025年7月10日
https://metr.org/blog/2025-07-10-early-2025-ai-experienced-os-dev-study/
今日覚えること
- AIは効果もお金も大きい。「速くなった気がする」で判断しない
- 感覚と現実はズレる(実験では感覚20%速い、実測19%遅い)
- 行数やPR数ではなく、速さ・副作用・成果を測る