0
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

LLM・エージェントを使い倒して分かった、なぜ人によって成果が異常に違うのか

0
Last updated at Posted at 2026-10-01

AIは探索者、人間は地図を描く

最近、AIに関するニュースを見ていると、似たような話題をよく見かける。

  • 「最新モデルが一晩でゲームを作り上げた」
  • 「このWebアプリをAIがほぼ自律的に実装した」
  • 「人間なら何日もかかるものを数時間で完成させた」
  • 「AIが未解決だった数学の問題に進展を与えた」

どれも普通にすごい。

少し前であれば、自分もかなり驚いていたと思う。

ただ最近、こういうニュースを見ても、以前ほど驚かなくなっていることに気づいた。

もちろん、AIが大したことないと思っているわけではない。

むしろ逆で、今のLLMやエージェントはかなり強い。

では、なぜ自分はそこまで驚かないのだろう。

LLMやコーディングエージェントを日常的にかなり使うようになって、その理由が少しずつ分かってきた。

それは、

AIは「探索すること」がものすごく強くなったが、その強さは探索空間がある程度定義されているときに最大化される

からではないか、ということだ。

そして、この観点から考えると、

同じLLMを使っているのに、人によって成果が異常に違う理由

もかなり説明できるように思う。

AIは探索がめちゃくちゃ強い

例えば、Webアプリを作ることを考える。

人間が、

  • Reactを使う
  • バックエンドはFastAPI
  • DBはPostgreSQL
  • 認証方式はこれ
  • UIはこの参考画面に近づける
  • このテストを全部通す
  • レスポンスは一定時間以内
  • この仕様書を満たす

という条件を与えたとする。

この状態になると、AIはかなり強い。

  • コードを書く。
  • 実行する。
  • エラーを見る。
  • 修正する。
  • テストを通す。
  • 必要なら別の実装を試す。

これを繰り返せる。

人間から見ると、これは「実装」に見える。

しかし少し抽象化すると、かなりの部分が探索問題に見える。

ある探索空間 $S$ の中から、評価関数 $f(x)$ を良くする解を探している。

x^* = \arg\max_{x \in S} f(x)

現在のAIは、この $x$ を探索する能力がものすごく強くなった。

しかも、昔のAIとは違って単に候補を1つ出すだけではない。

ツールを使い、実行結果を観測し、失敗したら修正し、別の候補を試す。

エージェント化することで、

生成 → 実行 → 観測 → 修正 → 再探索

というループをかなり長く回せるようになった。

だから「一晩でゲームを作った」という話を聞いても、自分の中では、

「かなり広い探索空間を、長時間、高速で探索できたんだな」

という理解になることが増えた。

もちろん、それ自体はものすごい進歩である。

ただ、構造としてはそこまで不思議には感じなくなってきた。

「探索空間が狭い」ではなく「探索空間が定義されている」

ここで少し注意したい。

AIが強いのは、必ずしも探索空間が「小さい」ときではない。

例えば数学の証明空間は、決して小さくない。

むしろ巨大である。

ソフトウェアの実装候補もほぼ無限にある。

ゲームの設計やコードも同様だ。

重要なのは、探索空間が小さいことではなく、

境界が定義されていること

だと思う。

  • 何を使ってよいか。
  • 何を作るべきか。
  • 何が成功なのか。
  • 何が失敗なのか。

このあたりが明確であるほど、AIは強い。

数学であれば、

  • 公理
  • 定義
  • 既存定理
  • 証明規則
  • 証明したい命題

が存在する。

ゲーム開発であれば、

  • ゲームエンジン
  • 操作方法
  • 世界観
  • アセット
  • 勝敗条件
  • 動作確認

がある。

コーディングであれば、

  • リポジトリ
  • テスト
  • 型
  • API仕様
  • 実行環境
  • エラーログ

がある。

こうしたものが、AIにとって探索空間の境界になる。

だから言い換えると、

AIはOpen Worldそのものより、Well-defined Worldにものすごく強い。

では、現実の仕事で難しいのは何か

一方で、現実の仕事では、最初から探索空間が定義されているとは限らない。

例えば、

「会社でAIを活用してください」

と言われたとする。

これはかなり難しい。

何をもってAI活用とするのか。

  • コスト削減なのか。
  • 売上向上なのか。
  • 研究開発なのか。
  • 人員削減なのか。
  • 従業員の生産性向上なのか。

対象は営業なのか。開発なのか。バックオフィスなのか。

半年後を見るのか。3年後を見るのか。

セキュリティ要件はどうするのか。既存システムはどこまで変えてよいのか。

つまり、この段階では、$S$ も $f(x)$ も決まっていない。

探索する以前に、

何を探索するのかを決める必要がある。

そして、ここは今でもかなり人間側に残っている仕事だと思う。

「何を作るか」が曖昧なままだとAIは弱く見える

例えばAIに、

「いいWebサービスを作って」

と頼んでも、たぶんそれほど面白いものは出てこない。

なぜなら「いい」の意味が分からないからだ。

  • 誰向けなのか。
  • 何を解決するのか。
  • 競合は何か。
  • 収益化するのか。
  • 見た目を重視するのか。
  • 速度を重視するのか。
  • 継続率を重視するのか。

ほぼ何も決まっていない。

一方で、

「毎日大量の論文を読む研究者向けに、arXivの新着から自分の研究テーマに関連するものだけ抽出し、既読管理し、Slackに要約を投稿するサービスを作る。対象分野はこれ。要約形式はこれ。1論文あたりの処理時間はこれ以内」

まで定義すると、急にAIは働きやすくなる。

これはモデルの知能が突然上がったわけではない。

人間が探索空間を切ったからである。

AIを使う人によって成果が違う理由

ここまで考えると、同じAIを使っているのに、人によって成果が大きく違う理由も見えてくる。

AIをあまり使えていないとき、人間はAIに対して、

  • 「これやって」
  • 「次これやって」
  • 「ここ修正して」
  • 「次はこれ」

という一問一答型の使い方をしがちだ。

この場合、人間自身が探索をしていて、AIはたんなる作業者になり、しかもAIの試行錯誤のフィードバックループに人間が無理やり関与させられてしまうケースもある。

一方で、AIをかなり使い込むと、だんだん指示の出し方が変わってくる。

例えば、

  • 最終的な勝利条件
  • やってはいけないこと
  • 利用可能なツール
  • 評価方法
  • 探索してよい範囲
  • どこまで自己判断してよいか

を先に与えて、その内部でAIに試行錯誤させるようになる。

人間が毎回次の一手を指示するのではなく、

探索空間そのものを設計して渡す

ようになる。

この差はかなり大きい。

同じモデルを使っていても、

「次に何をすればいいですか?」

と毎回聞く人と、

「この条件の中で、目的を達成するまで試行錯誤して」

と任せられる人では、AIが実際に探索できる量がまったく違う。

人間の仕事は「答えること」から変わっていく

AIが強くなると、

「では人間はいらなくなるのではないか」

という話になる。

ある部分については、その通りだと思う。

既に探索空間が定義されていて、その中の解を探すだけであれば、人間が大量に手を動かす必要性はかなり減っていくだろう。

  • コードを書く。
  • テストする。
  • 資料を作る。
  • 候補を比較する。
  • 既存研究を探す。
  • 実験条件を振る。

こうした作業の多くはAIに移っていく。

その代わりに、人間側で重要になるのは、

  • そもそも何を問題にするのか。
  • どこを探索させるのか。
  • 何を良い結果と定義するのか。
  • 出てきたものを本当に良いと判断できるか。
  • そもそもの問題設定が間違っていたときに、問いを作り直せるか。

こちらの比重が大きくなっていく。

「正しい問いを作る」がより重要になる

よく、

「AI時代にはプロンプト力が重要」

と言われる。

自分は最近、少し違うと思っている。

重要なのは、きれいなプロンプトを書く能力そのものではない。

もっと上位にある、

何を問題として切り出すか

という能力である。

例えば研究であれば、

「このモデルの精度を上げて」

よりも、

「現状の失敗ケースはこの3種類に分類できそうなので、まずどれが支配的か切り分ける」

と考えられるかどうかの方が重要になる。

その瞬間、探索空間が変わる。

ソフトウェアでも同じだ。

「バグを直して」

ではなく、

「この現象はネットワーク、状態管理、非同期処理のどこかに原因があるはずなので、再現条件を固定して順番に潰す」

と切れるかどうか。

AIは、その後の探索を大量にやってくれる。

しかし、

どの軸で世界を切るか

は依然として重要である。

AIが強くなるほど、人間の差がなくなるとは限らない

これは少し皮肉な話でもある。

AIが全員に行き渡れば、人間の能力差は縮まるようにも思える。

実際、ある程度は縮まると思う。

  • 文章を書く。
  • コードを書く。
  • 検索する。
  • 翻訳する。

こうした基礎的な作業能力の差は確実に縮まる。

しかし一方で、

AIに何を探索させるかを設計する能力

の差は、むしろ拡大される可能性がある。

良い探索空間を定義できる人は、AIに大量の仕事を任せられる。

曖昧なまま投げる人は、AIから曖昧な結果を受け取り、それを人間がまた修正することになる。

同じ強力なモデルを使っていても、

一方はAIを「高速な作業者」として使い、

もう一方はAIを「一緒に仕事を進めてくれるよき伴走者」として使う。

このとき、人間とAIの役割ははっきり分かれる。

人間は探索空間を定義し、判断する。

伴走者であるAIは、その中で大量の探索を行い、結果を人間に返す。

人間はその結果を見て判断し、探索空間を再定義する。

この一連の流れが、人間とAIのあいだで繰り返される。

この差は大きい。

AIそのものがレバレッジである以上、

AIをどう使うかの小さな差が、最終成果では大きな差になる。

AIは探索者、人間は地図を描く

最近、自分の中ではこの関係を、

AI is the searcher. Human is the cartographer.

と考えている。

AIはものすごい速度で探索できる。

  • 休まず、
  • 大量に候補を出し、
  • コードを書き、
  • 実験し、
  • 失敗し、
  • やり直せる。

この能力は今後さらに強くなるだろう。

一方で人間は、

「どこを探索するのか」

という地図を描く。

もちろん将来的には、この地図作り自体もAIがかなり手伝うようになると思う。

AI自身が探索空間の候補を提案し、評価関数を考え、問題の再定義まで行うようになるだろう。

それでも少なくとも現在は、

何を重要とみなすか

という最終的な部分には、人間の価値判断や現実世界の文脈がかなり残っている。

おわりに

  • 「最新AIが一晩でゲームを作った」
  • 「AIがWebサービスを自律的に作った」
  • 「AIが数学の難問を解いた」

こうしたニュースを見ても、最近あまり驚かなくなった。

それはAIの進化に慣れたからだけではない。

自分の中で、

AIは、定義された探索空間を探索することにものすごく強い

という理解ができてきたからだと思う。

そして今後AIがさらに強くなれば、人間の仕事は少しずつ変わっていく。

  • 答えを出す。
  • 手を動かす。
  • 候補を探す。

そこから、

  • 問題を見つける。
  • 探索空間を定義する。
  • 評価関数を作る。
  • 結果を評価する。
  • 必要なら問いそのものを作り直す。

という方向へ。

AIが強くなるほど、人間はいらなくなる。

というより、

AIが強くなるほど、「人間は何をするのか」がよりはっきりしてくる。

少なくとも自分はそのような気づきがあった。

0
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?