はじめに
2026年11月2日、OpenAIは日常生活におけるAIのタスク遂行能力を測る評価体系 LifeVal を発表しました。
保育園探し、行政手続き、家計管理、買い物など、人々が実際にAIに任せたい仕事を対象としています。OpenAIはまず米国・国際的な時間利用調査を参照し、さらに3,995人への調査で支援ニーズを調べ、評価タスクを設計したと説明しています。
従来の知識問題やプログラミング問題とは異なり、「生活上の目的を達成する」という観点でAIを評価しようとする取り組みです。
先に筆者の立場を書いておきます。本記事は採点の難しさを中心に書くので、全体としては厳しめの論調になります。それでも LifeVal は大変有益な取り組みだと考えています。この手のベンチマークは、まず誰かが具体的なタスクと数字を出さないと、何が測れていて何が測れていないのかという議論そのものが始まりません。生活のタスクを測れる形にして公開したことで、エージェントの評価の幅が今後広がっていくことが期待できます。以下の疑問は、LifeVal を否定するためではなく、この評価をどう育てていくかの論点として挙げます。
そのうえで、こうしたベンチマークには根本的な疑問があります。
正解が一意に決まらず、探索空間も未知で、実行結果が未来にしかわからないタスクを、誰が、どうやって正しく採点できるのでしょうか？
以下では、推しのコンサートのために東京から名古屋へ遠征する計画を具体例にして考えます。なお、本記事で述べる採点上の問題や評価方式の提案は筆者の考察であり、OpenAIがLifeValで実際に採用している方法を断定するものではありません。
1. LifeValとは何か
LifeValの発表では、AIが助けるべき生活領域として、育児・介護、健康、教育、家庭管理、個人の財務、買い物、行政サービスなどが挙げられています。
公式ページには次の例とスコアが掲載されています。
| タスク例 | 掲載スコア |
|---|---|
| 引っ越し後の幼稚園選び・入園準備 | 93.1% |
| 洪水対策のボランティア調整 | 98.0% |
| 家族向けの住宅探し | 100% |
| 離れた祖母と一緒にスポーツ観戦するための準備 | 96.3% |
| 糖尿病と診断された親のための食事・ケア計画 | 90.4% |
出典：OpenAI, LifeVal (2026-11-02)
注意したいのは、たとえば「93.1%」という値が、実際の入園が93.1%の確率で成功したことを意味するとは限らない点です。実例の説明では候補の比較や手続き情報の整理、ユーザーへの判断の引き継ぎが示されています。
公開ページには個別スコアがある一方、その算出式、評価者、詳細な採点ルーブリック、現実世界での追跡方法は十分に説明されていません。したがって、スコアの意味は慎重に読む必要があります。
ただ、生活の領域を調査から洗い出し、幼稚園選びや介護の食事計画のような具体的なタスクにまで落として点数を付けた評価は、これまでほとんど見当たりませんでした。例が公開されたからこそ、次の節のように「この採点で何が測れるのか」を具体的な場面で考えられるようになっています。
2. ケーススタディ：「今週末、推しのコンサートで名古屋に行きたい」
次のような指示をAIエージェントに渡すとします。
今週末、推しのコンサートで名古屋に行きたい。チケットはもう取れている。東京から出発するので、新幹線、宿泊、会場までの移動を含めて計画を作ってほしい。
開演と終演の時刻、会場の最寄り駅、公演日の宿の空き具合を調べ、新幹線・宿泊・現地の移動を組み合わせるタスクです。いわゆる「遠征」の計画です。
一見すると、評価基準は簡単に作れそうです。
- 会場の所在地と最寄り駅は正しいか
- 列車の時刻や料金は正確か
- 開演に間に合い、終演後に宿や帰りの列車へ無理なく移れるか
- グッズの販売時間や入場の条件が考慮されているか
- 予算や好みに合致しているか
ところが、この基準では「破綻していない計画」は測れても、「本当に優れた計画」は測り切れません。
セット商品を知らないAIを高得点にしてしまう
例えば、次の2案を考えます（料金はすべて説明用の架空の数字です）。
| AI-A | AI-B | |
|---|---|---|
| 交通・宿泊の購入方法 | 新幹線とホテルを個別手配 | 新幹線＋宿泊のセット商品（EX旅パックなど）を発見 |
| 合計費用 | 45,000円 | 32,000円 |
| 会場までの移動と終演後の動き | 妥当 | 妥当 |
| 日程・品質 | 同等 | 同等 |
同じ日程、同等のホテル、同等の条件であれば、AI-Bのほうが13,000円安くなります。
しかし、採点者がセット商品の存在そのものを知らなければどうなるでしょうか。AI-Aも「時刻が正確」「予算内」「宿泊先が確保できる」という基準をすべて満たし、高得点を得る可能性があります。
より本質的には、正解を作る側の探索能力に、評価が制約されてしまいます。
未知の探索空間と不完全な目的関数
遠征の計画を最適化問題と見なすと、理想的には実行可能な計画の集合 $\mathcal{F}$ から効用 $U(x)$ が最大のものを求めることになります。
x^{*}=\operatorname*{arg\,max}_{x\in\mathcal{F}} U(x)
しかし現実には、次の2点が難しいところです。
- 探索空間 $\mathcal{F}$ が既知ではありません。 セット商品を知らなければ、候補にすら入りません。公演日には会場近くのホテルが早々に埋まり、料金も跳ね上がります。名古屋駅周辺が満室なら、岐阜や四日市に泊まって在来線で戻るという案もありますが、それを思いつくかどうかは探索する側次第です。料金や在庫も時間で変わります。
- 効用 $U(x)$ が人によって異なります。 最安値が最善とは限りません。終演後すぐ宿に入りたい人もいれば、余韻のまま日帰りで帰りたい人もいます。グッズの列に並ぶ時間、同行者の有無、翌日の予定、疲れやすさにも価値があります。
固定ルーブリックは、既知の制約条件に対する正しさを確認するのには向いています。一方で、評価者の想定外にある優れた代替案を評価するのは苦手です。
もちろん、未知の最適解が存在するからといって評価が不可能なわけではありません。絶対的な最適性を証明できないことと、提示された二案の優劣を一部の条件で比較できることは別です。例えば同等条件の価格差なら検証できます。ただし、それが「全探索空間における最良解」を保証するわけではありません。
3. オンラインで採点できるものと、現実世界でしか採点できないもの
もう一つの問題は、評価の観測可能性です。
| 評価対象 | Web・データで事前検証できるか | 現実での確認が必要か |
|---|---|---|
| 会場の所在地・最寄り駅 | おおむね可能 | 必須ではない |
| 公表された列車時刻・運賃 | 可能 | 当日の運休・遅延は別 |
| 予約時点のセット商品の料金 | 比較可能 | 後日の在庫変化は別 |
| 終演後に駅まで歩く時間 | 推定可能 | 規制退場や駅の混雑で大きく伸びるので、正確には現地確認 |
| 当日のグッズ列や天候の影響 | 予測のみ | 必要 |
| 本人がコンサートと遠征を楽しめたか | 困難 | 遠征後の本人評価が必要 |
| 保育園が家庭に長期的に合ったか | 困難 | 数か月以上の追跡が必要 |
少なくとも以下の3段階は区別したほうがよいと考えます。
Level 1：オフラインでの評価
固定された情報やオンラインの参照データに対して、事実関係、制約違反、論理矛盾を評価します。比較的低コストで再現性が高い方法です。ただし、動的な現実を完全には再現できません。
Level 2：実環境での評価
現実のサイトやサービス、交通機関、現地環境のもとで実行できたかを評価します。最新性と実用性は高いものの、環境変化が大きく、同一条件での比較が難しくなります。
Level 3：長期の追跡評価
数週間から数か月、あるいはそれ以上の時間をかけて、最終的に本人が便益を得たかを追跡します。保育園探しや健康・家計の支援では特に重要ですが、評価コストが高く、外部要因による影響も大きくなります。
結果の良し悪しはAIだけでは決まらない
例えば保育園探しで、AI-Aの候補には入園でき、AI-Bの候補は定員超過で入園できなかったとします。それだけでAI-Aの判断が優れていたとは断定できません。定員、抽選、家庭事情など、AIの制御外の変数があるからです。遠征でも同じで、アンコールが長引いて最終の新幹線を逃したとしても、それを計画の失敗とだけ見るのは酷でしょう。
概念的には次のように考えられます。
\text{観測された成果}=f(\text{AIの行動},\ \text{利用者},\ \text{外部環境},\ \text{偶然})
実際の成果を測ることは重要ですが、AIの寄与だけを推定するには、同条件での比較、複数試行、外部条件の記録などが必要になります。
4. そもそも「正解判定」は誰が行うのか
ここで、評価の設計上の核心となる問いが出てきます。
AIが人間の採点者より優れた解を見つけたとき、その採点者は優れた解であると判定できるのでしょうか？
候補となる方法には、固定ルーブリック、人間の専門家による比較、LLM-as-a-Judge、価格や移動時間などの実測指標があります。ただ、それぞれに制限があります。
| 判定手法 | 強み | 弱み |
|---|---|---|
| 固定ルーブリック | 自動化・反復しやすい | 未知の優良解を取り逃す |
| 人間の専門家 | 文脈や総合的な品質を評価できる | 専門家にも知識・探索の限界がある |
| LLM-as-a-Judge | 大量評価に向く | モデルの偏り、誤判定、同系統モデルへのバイアスがあり得る |
| 客観指標（費用・時間等） | 比較的検証しやすい | 主観的満足や長期便益を十分に表現できない |
| 実地検証・追跡 | 実際の成果に近い | 高コスト、再現性が低い、外部要因が混ざる |
LifeValの2026年11月2日付の公式紹介ページに限れば、例示されたパーセンテージを誰がどう採点したのか、十分な方法論は読み取れません。そのため、ページ上の高い数値をそのまま「生活支援タスクをその割合で完遂できる」と解釈するのは避けたいところです。
ここで述べているのは公開ページから検証できる範囲の限界であり、OpenAI内部に詳細な評価プロトコルが存在しないという主張ではありません。
また、上の表の弱みは LifeVal に限った話ではなく、正解のないタスクを評価しようとすれば、どのベンチマークも同じ壁に当たります。LifeVal はその壁に正面から取り組んだ最初の大きな例であり、評価方法の詳細が今後公開されれば、採点者の限界をどう補うかという議論も一段進むはずです。
5. GDPvalとの比較：専門家の成果物なら採点できるのか
OpenAIは2025年9月25日に、経済的価値のある専門業務を評価する GDPval も公開しています。
GDPval初版は9産業・44職種・1,320タスクを対象とし、タスク作成に参加した専門家の平均実務経験は約14年です。法律意見書、設計図、スライド、表計算などの業務成果物をAIに作らせます。
GDPvalの中心的な評価手法は、AIと人間の成果物を、同じ職種の専門家が作成者を伏せた状態で比較するというものです。専門家はAIの成果物を「優れている」「同等」「劣っている」と判定します。人間の判断を近似する実験的な自動採点器も用意されています。
| 観点 | LifeVal | GDPval |
|---|---|---|
| 主な対象 | 日常生活の支援 | 専門職の業務成果物 |
| タスク選定 | 時間利用調査＋3,995人の追加調査 | 産業・職種と専門家の業務をもとに設計 |
| 公開ページでの評価説明 | 個別例とスコアが中心 | 専門家によるブラインド比較を説明 |
| 主な難しさ | 個人の好み、変化する環境、長期成果 | 専門家の判断の限界、成果物と実務成果の差 |
GDPvalの比較評価には、絶対的な「模範解答」を唯一の正解とせずに済むという利点があります。しかし、これも万能ではありません。
例えばAIが従来にないアルゴリズムや業務改善策を提案したとき、評価者がその価値を理解できなければ、正しく高評価できない可能性があります。また、書類や図面が優れていることと、実際の業務プロセス全体を完遂できることは異なります。
OpenAI自身も、GDPval初版はone-shotの成果物評価であり、実務上の反復・フィードバック・曖昧な要求の処理を十分には扱っていないと説明しています。
6. では、実世界エージェントをどう評価すべきか
ここからは、LifeVal を土台にして評価の幅を広げるとしたら、という案です。単一の百分率ではなく、少なくとも評価軸を分離するのがよいと考えます。
(A) 制約充足・事実正確性
- 存在しない列車やホテル、架空のセット商品を挙げていないか
- 開演・終演の時刻、移動時間、予約条件、予算の制約に矛盾がないか
(B) 探索品質
- 複数の購入・移動手段を比較したか
- セット商品や近隣の街での宿泊のような、単純な個別購入以外の選択肢も探索できたか
- 後から発見された優良案に対してどれほど劣っていたか
(C) 実行・完遂能力
- ユーザーの許可範囲内で、必要な操作をどこまで実行できたか
- 失敗や条件変更に対応して計画を修正できたか
(D) 人間の負担
- 本人が何回介入したか
- 確認や修正に何分かかったか
- AIを使わない場合と比べ、実際にどれだけ負担が減ったか
(E) 実世界・長期の成果
- 遠征を実施して、開演に間に合い、無事に帰れたか
- 最終的な支出や満足度はどうだったか
- 数週間・数か月後にも便益が続いているか
例えば、人間の介入を含む総時間を
T_{\mathrm{total}}=T_{\mathrm{agent\ setup}}+T_{\mathrm{human\ review}}+T_{\mathrm{correction}}+T_{\mathrm{execution}}
と分解すれば、「AIが短時間で出力した」という事実と、「人間の仕事が本当に減った」という事実を区別できます。ただし、$T_{\mathrm{execution}}$ に移動やコンサートそのものの時間を含めるかはタスクの定義次第なので、比較するときには統一する必要があります。
また、費用だけでなく快適さなど複数の目的のトレードオフを認めるために、最良の単一解への一致ではなく、制約充足、パレート優越、条件付きのペア比較、ユーザー選好への適合などを組み合わせる設計も考えられます。
7. まとめ：ベンチマークは何を「正解」と呼んでいるのか
LifeValの着眼点は重要です。AIが難問を解けるかだけでなく、人々の生活を実際に助けられるかを問うています。そして、それを具体的なタスクと数字で示したことで、生活の支援という曖昧な目標が、議論し改良できる対象になりました。
一方で、実世界タスクの評価には次の難しさがあります。
- 探索空間が未知：評価者もセット商品や近隣での宿泊のような優れた代替案を知らないかもしれません。
- 最適解が一意ではない：費用、時間、好み、快適さによって答えが変わります。
- オンラインだけでは完結しない：実際に遠征・入園・生活して初めてわかる成果があります。
- 結果は時間と環境に依存する：混雑、定員、天候、在庫、偶然性が混ざります。
- 評価者にも能力の限界がある：人間やLLMの採点者がAIの優れた提案を見抜けるとは限りません。
したがって、LifeValのような評価の数値を見るとき、最初に問うべきは単純な「何点だったか」ではありません。
そのスコアが測っているのは、計画のもっともらしさなのか、タスクの完遂なのか、それとも人間が実際に得た便益なのか？
この3つを区別できて初めて、実世界で役に立つAIエージェントを評価できるのではないでしょうか。
本記事では難しさばかりを並べましたが、こうした問いを具体的に立てられるのも、LifeVal という出発点があるからです。最初のベンチマークが完璧である必要はありません。まず数字が出て、その数字の意味を皆で突き合わせることで、評価は育っていきます。LifeVal をきっかけに、探索の質や人間の負担、長期の成果まで含めて、エージェントの評価の幅が広がっていくことを期待しています。
参考資料
- OpenAI, LifeVal, 2026年11月2日. https://openai.com/index/lifeval/
- OpenAI, GDPval: Measuring Model Performance on Real-World Tasks, 2025年9月25日. https://openai.com/index/gdpval/
- OpenAI, GDPval: Evaluating AI Model Performance on Real-World Economically Valuable Tasks（論文）. https://cdn.openai.com/pdf/d5eb7428-c4e9-4a33-bd86-86dd4bcf12ce/GDPval.pdf
注：セット商品の料金や遠征の計画は評価方法を説明するための仮定であり、実際の販売条件や現在の料金を示すものではありません。