📰 海外事例

元記事：90% of US working hours are spent on tasks not covered well by AI benchmarks（mercor.com）

AIの点数がどんどん上がっている、というニュースをよく見かけます。でも、その点数は「私たちの仕事」をどれだけ測っているのでしょうか。AI評価の会社Mercorが、この疑問に答えるために、米国の仕事とAIベンチマーク（AIの性能を測る試験）の対応を地図にして公開しました。

結論：ほとんどの仕事は測られていない

Mercorの推計では、米国で働く人の労働時間のおよそ9割が、ベンチマークでまだほとんど測られていない仕事に使われています。

つまり「AIが試験で何点取ったか」を見ても、多くの人の実際の仕事をAIがどれだけこなせるかは、まだよく分からない、ということです。

どうやって調べたか

米国には、仕事の中身をまとめた公的なデータベース（O*NET）があります。ここでは仕事が923の職業に分けられ、さらに職業ごとに「どんな作業をするか」が細かく書かれています。

Mercorは、実務に近い問題を出す29種類のベンチマークを選び、その問題1つ1つがどの作業に当たるかを調べました。そして、ある作業に問題が5問以上あれば「測られている」と数えました。

測られている仕事には偏りがある

調べてみると、測られている仕事には3つの偏りがありました。

1つめは、AIに置き換えられやすい仕事ほど測られていること。 プログラミングや金融の分析はよく出題される一方で、トラックの運転のような仕事はほとんど出てきません。AIの進歩を測るための試験なので、ある意味では自然な結果です。

2つめは、規模の大きい職業ほど測られていること。 その職業で働く人の給料を全部足した額が大きいほど、試験に取り上げられやすくなります。たとえば弁護士の作業はよく測られているのに、同じようにAIの影響を受けやすい法律事務員の作業は、ほとんど測られていません。働く人の多い、中くらいの収入の事務・知識系の仕事が、まとめて抜け落ちている形です。

3つめは、職業の中でも「重要な作業」ほど測られていること。 職業ごとの中心的な作業は出題されやすく、周辺の作業は後回しになっています。

Mercorは、限られた手間を重要な仕事から使うのは合理的だとしながらも、このままでは大きな見落としが残ると指摘しています。

職業ごとの「AIの実力」はまだ出せない

Mercorは試しに、投資銀行・法律・会計・ソフトウェア開発の4つの職業について、AIの点数を職業ごとに出してみました。ただ、作業ごとに計算できるだけの問題がそろっていたのは、全体の3分の1にも届きませんでした。

ほかにも課題が残っています。

職業ごとの問題が少なく、出来の悪い問題が少し混ざるだけで結果がゆがむ
実際のAIは、仕事を丸ごと任されるより、人の手伝いとして使われることが多い。その「手伝いの効果」を測る方法がまだない
体を動かす仕事は、今の試験ではほとんど扱えない

なお、今回の数字は29種類の試験だけをもとにした暫定のもので、対象を増やして更新していく予定だとしています。

まとめ

AIの点数が高いことと、自分の仕事にAIが役立つことは、別の話です。試験が得意な分野に偏っている以上、点数のニュースは「どの仕事を測った結果なのか」まで見て受け止める必要がありそうです。

AIが試験で何点取れるかと、実際の仕事でどれくらい使えるかの間は、まだ調査が追いついてないんだなと思いました。とはいえ、プログラミングや金融分析みたいに置き換えやすい仕事から進んでいく、規模が大きくて給料の高い仕事ほど「AIでいいんじゃない？」って話になるのは、そらそうだろうなと。

ほんとは単純作業こそAIに振ったほうがいいはず。ただ、事務職でも、書類を作るのはAIにできても、データだけ出せば終わりじゃなくて物理的な作業がどうしても残る。今のやり方のままAIに読ませようと思ったら、紙の書類をスキャンしてPDFにする、みたいな手間がまず要る。そこまで仕事のやり方自体が変わってないので、やり方を変えなくてもそのまま置き換えられる仕事から、AIの進出（というか侵食）が始まっていくんでしょう。

トラックの運転みたいに、比較的単純で規模も大きい作業は、一度自動化できればメリットがでかいので研究は進むと思います。ただ、失敗したら命に関わる事故になるのが難しいところ。事務ならミスっても死人も爆発も出ませんからね。危険を伴う作業を任せられるほど、AIの信用度はまだ高くないのかなと。

話はそれますが、運転の判断にClaudeみたいな何でも知ってる全知全能AIを使う必要はないわけで、それよりは軽くていいから判断が速くてブレが少ないモデルを作って、ドライバーAIとして使っていくべきなのかなと。要求スペックを下げれば、導入も運用も劇的に安くなるはずなので。

ここまでAIの進歩が速いと、いろんな仕事がAIに置き換わっていくはず。人間の社会がこれからどうなっていくのか、ほんとに産業革命だなと思います。

出典

Mercor「A benchmark map of the US economy」https://www.mercor.com/research/labor-index/benchmark-map/