イベント概要
オライリーさんの月例イベント「Tech Leadership Tuesday」は、
人事およびテクノロジー領域のリーダーを対象としたライブイベントで、毎月色んな方をホストに呼んでいらっしゃって、
私たちは今月の分に呼んでいただきました！
内田さんのお話がとても良かったし学びが多かったので、ブログにしました。
内容
理想は、最終的に「AI投資がどれだけ事業価値を生んだか」を測ることですが、
どうやって測るの？ コストとの兼ね合いは？ 観測可能な指標は？
など、色んな疑問が出てきます。
その辺を Findy の内田さんが答えてくれました！
↑ めっちゃ良い感じのバナーを作ってくださいました！
内田さんと私が並列に並んでる（大変おこがましいw）けど、
今回の私のロールは「司会」（聞き手）で、
内田さんが主役（スピーカー）です！
↓ 内田さんの Twitter (X) アカウント
| 項目 | 値 |
|---|---|
| イベント名 | Findyと考える「Tech Leadership Tuesday」：個人を超えたAIの生産性をどう測定するか |
| 日時 | 8/18(火) 12:00-13:00 |
| 場所 | オンライン |
| 主催 | O'Reilly オライリー |
| イベントページ | https://www.oreilly.com/live-events/findyと考えるtech-leadership-tuesday個人を超えたaiの生産性をどう測定するか/0642572417154/ |
要点
AI 生産性は、
個人のコード生成量や利用率ではなく、
チーム・組織全体で「成果がどれだけ増え、総投資額がどれだけかかったか」を測る。
そのデータを監視やコスト削減ではなく、継続的な改善と投資判断に使う。
主張
AI による生産性は、
- 効果（Return）と
- 投資（Investment）
の両方を、
チーム・組織単位で測り、
継続的な改善につなげるべき
最後の結論：測定は3段階で成熟させる
生産性測定を、次の3段階で捉える:
| 段階 | 測定対象 | 指標例 |
|---|---|---|
| 1 | エンジニア組織内の生産性 | PR数、Four Keys、個人・チーム別AIコスト |
| 2 | プロダクト開発組織全体の生産性 | 消化issues数、ロードマップ進捗、部署・プロジェクト・組織全体のAIコスト |
| 3 | 期待・実現付加価値の生産性 | 売上、利益、事業KPI、納期、組織全体のAIコスト |
参考：広木さんによる「開発生産性について議論する前に知っておきたいこと」
要点
- 測定はゴールではなく、改善のための手段
- 生産性は「Return ÷ Investment」で考える
- 企業の AI 投資の現状と方向性 (上限を設ける, AI利用料が人件費を上回る, etc)
- 成果が出ているなら「最適化」、出ていないなら「マキシマイジング」
- トークン使用量だけでは、生産性は測れない
- AI ツールではなく「AI が働く環境」へ投資する
1. 測定はゴールではなく、改善のための手段
- AI 利用率や生産性指標を測ること自体を目的にしてはいけない
- 指標をそのまま目標にすると数字だけが最適化されるという「グッドハートの法則」（Goodhart's law）
- 測定は「評価」や「監視」のためではなく、改善を回すことと、目線を揃えることの手段
指標をそのまま目標にすると数字だけが最適化されるという「グッドハートの法則」
例）
pull requests 数を KPI にすると、不必要に細分化したプルリクを投げるようになる
2. 生産性は「Return ÷ Investment」で考える
- 多くの組織はReturn（効果）ばかり議論しているが、実際に急激に動いているのはInvestment側。
- しかもInvestmentは「見えていない」ことが多い
- Return: 開発のアウトプット、ビジネス成果など
- Investment: AI 利用料や人件費など
Return として挙げられているのは、
- PR数
- Four Keys
- 開発ロードマップの進捗
- 売上への貢献
- ビジネス成果
などです。
Investment には、
- AIツール利用料
- 人件費
- AIを使えるようにするための環境整備工数
- チーム・組織全体のAI関連コスト
などが含まれます。
3. 企業の AI 投資の現状と方向性
企業事例として、異なる方向性が紹介されています。
- Mercorでは、AIトークンへの支出が人件費を上回ったとされる
- UberやAmazonでは、AI利用コストに上限を設ける動きがある
- NVIDIAは反対に、さらに大規模なAIトークン投資を目指している
Uberでは、1人あたりのAIコスト上限が給与の約5％程度になるという試算です。一律の上限を設けると、年収が低い層ほど給与に対するAIコストの比率が高くなるという問題も指摘しています。
そこから内田さんは、将来的に開発組織のAIコストが、
- 人件費の半分程度
- OPEX (Operating Expense)(企業が日々のビジネスを維持・継続するために継続して発生するランニングコスト) の約 10 ％
といった規模になる可能性を示しています。
4. 成果が出ているなら「最適化」、出ていないなら「マキシマイジング」
AI利用コストに対する姿勢は、成果の有無によって変えるべきだと整理しています。
- AIで成果が出ている
→ 利用量を抑えるのではなく、費用対効果を高める「最適化」 - AIの成果がまだ限定的
→ まず利用を広げ、成功事例を作る「マキシマイジング」
したがって、単純に「AIコストが高いから削減する」と判断するのではなく、成果が出ているかどうかを先に確認する必要があります。
ただし、
トークンマキシングの観点では、月に10億トークン以上使うユーザーが15％以上というデータも存在する* ので、
本当に青天井にするとやばそう感はありました（私の感情）
（*「AI駆動開発の現状と、エンジニアのキャリアに対する向き合い方（n=943）」（ファインディ株式会社 、実施：2026年6月、公開：2026年8月））
5. トークン使用量だけでは、生産性は測れない
調査では、月間10億トークン以上使うユーザーが約17％存在すると紹介されています。
しかし、トークンを大量に使っていること自体は、生産性向上を意味しません。無駄な再送信や、不要に長いコンテキストなどによってトークンが消費されている可能性もあります。
そのため、単なるトークン量の削減ではなく、以下の3方向からAIコストを考えるべきとしています:
- LLMモデルの最適化
タスクの難易度に応じて、適切なモデルを使い分ける - キャッシュ効率
同じ文脈を繰り返し送っていないか、入力データを最適化できているかを見る - Harness Engineering
AI が自律的・効率的に働ける環境を整える
6. AIツールではなく「AIが働く環境」へ投資する
Harness Engineering とは、モデルそのものではなく、
- ルール
- Skills
- ナレッジ
- APIやMCP
- コンテキスト管理
- 品質評価
- 評価結果の継続的な改善
など、AIエージェントが安定して成果を出せる環境を整える考え方です。
ただし、Findyの調査では、これらを組織全体で実施している企業は、おおむね10〜20％程度にとどまります。
最後の結論：測定は3段階で成熟させる
生産性測定を、次の3段階で捉えています。
個人がAIツールを使う段階から、組織としてAIの成果を再現できる段階には、まだ大きな隔たりがあるということです。
| 段階 | 測定対象 | 指標例 |
|---|---|---|
| 1 | エンジニア組織内の生産性 | PR数、Four Keys、個人・チーム別AIコスト |
| 2 | プロダクト開発組織全体の生産性 | 消化イシュー数、ロードマップ進捗、部署・プロジェクト・組織全体のAIコスト |
| 3 | 期待・実現付加価値の生産性 | 売上、利益、事業KPI、納期、組織全体のAIコスト |
理想は、最終的に「AI投資がどれだけ事業価値を生んだか」を測ることです。
しかし、そこまで測定できている企業はほとんどなく、プロダクト開発組織全体で語れる企業もまだ少数です。
そのため、まずはPR数・Four Keys・チーム別AIコストなどの観測可能な指標から始め、それらを複合的に測るのが現実的だとしています。