1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

モデルを変えずに、AIエージェントが「仕事の仕組み」を育てる──Google ResearchのHarness²

1
Posted at

サムネイル:固定されたAIモデルの周囲で、記憶・スキル・ツールなどの実行構造がEvidenceに基づいて組み替わるイメージ

AIエージェントの性能は、モデルの賢さだけで決まりません。どんな指示を読み、どの道具を使い、何を覚え、どの役割へ委任するか。モデルの周囲にある「仕事の仕組み」でも大きく変わります。

Google Cloud AI Researchなどの研究者は2026年10月9日、モデルの重みを変えずに、その周囲の実行環境を再帰的に改善する研究「Harness²」をarXivで公開しました。公開リポジトリにはApache 2.0のコード、ローカルデモ、ベンチマーク実行手順があります。

これは正式なGoogle製品ではなく、研究実装です。論文とREADMEは確認しましたが、今回コード全体の監査やデモ実行は行っていません。以下の性能値は著者側の実験結果で、独立再現ではありません。

「モデル」ではなく「ハーネス」を改善する

Harness²でいうハーネスは、モデルを実際の仕事へつなぐ周辺構造です。公開実装では、次の8要素を編集対象にしています。

  • システムプロンプト
  • ガードレール
  • メモリ
  • ツール利用ガイダンス
  • サブエージェント
  • スキル
  • スクリプト
  • プラグイン

図1:固定されたモデルの周囲にある8つの編集可能なハーネス要素

つまり、モデル自体を追加学習するのではなく、「この仕事で失敗したのは、指示・記憶・道具・委任のどこか」を実行結果から見直します。

2段階で改善する

Harness²には、現在の仕事を改善する短い循環と、改善経験を次の仕事へ持ち越す長い循環があります。

図2:タスク単位のPropose–Probe–Composeと、次の仕事へ経験を残す2段階再帰

1. タスク単位の再帰

現在の仕事に対して変更案を作り、実際に試し、元の実行との違いを比べて採用候補を組み合わせます。研究ではこれを「Propose–Probe–Compose」と呼びます。

正解データや外部の採点器がなくても、変更前後の行動差をEvidenceとして使う設計です。複数案を同時に試す並列方式と、変更を積み重ねる逐次方式があります。

2. ハーネス改善そのものの再帰

各仕事で採用されたハーネスと、なぜ変更したかというEvidence付きの教訓をライブラリへ残し、次の仕事の改善に使います。

ここがMORIのHuman OSと特に重なる部分です。完成物だけでなく、「どの失敗を見て、何を変え、実行がどう変わったか」を持ち越します。

著者らが報告した結果

著者らはWorkBuddy-Bench、JobBench、Legal Agent Benchmarkの3種類で、GLM-5とGemini 3.5 Flash、OpenCodeとCodexの構成を評価しました。

1回の改善ステップで、基準ハーネスに対して最大で次の向上を報告しています。

  • WorkBuddy-Bench:11.5ポイント
  • JobBench:4.5ポイント
  • Legal Agent BenchmarkのPartial pass rate:11.8ポイント

一方、すべての試行が良くなったわけではありません。論文の失敗分析では、弱い候補の選択、間違った前提の共有、実行ばらつき、評価欠落などにより9件の回帰が確認されています。

図3:著者報告の改善と、同じ実験で確認された限界を分けた整理

論文自身も、実行ベースの比較は共有されたモデルバイアスやばらつきの影響を受け、正しさや別タスクへの転移を保証しないと明記しています。再帰回数を増やすほど推論コストも増えます。

MORIとの接点

Human OSでは、AIの自己申告ではなく、実行結果・ログ・外部状態をEvidenceとして判断を更新してきました。Harness²は、そこからさらに一歩進み、「Evidenceをもとに、AIの仕事の仕組み自体を改善する」実装です。

特に接続しやすいのは次の点です。

  • Failureを責めず、改善対象へ変える
  • 現在の仕事向け変更と、次回へ持ち越す教訓を分ける
  • 採用結果だけでなく、候補の実行差もEvidenceとして残す
  • モデル順位ではなく、プロンプト・道具・記憶・役割分担まで含めて改善する
  • 変更しない「KEEP_BASE」も正当な判断として扱う

ただし、そのままHuman OSへ導入してよいとは限りません。READMEによると、実行エージェントのネットワークアクセスは制限なしで、Codexはサンドボックス無効が前提です。評価前にネットワーク制限を設定するよう注意書きがあります。MORI環境へ持ち込むなら、権限・課金上限・秘密情報・外部書き込み・停止条件を先に囲う必要があります。

公開実装の現在地

  • 論文:arXiv v1、2026年10月9日。未査読
  • コード:GitHubで公開、Apache 2.0
  • ローカルデモ:モデル認証情報なしで動くとREADMEに記載
  • モデル利用ベンチマーク:API費用が発生
  • 対応実行系:OpenCode、Codex
  • 製品状態:正式サポート対象のGoogle製品ではない
  • 今回の確認:論文・README・ライセンス・実行条件を読了
  • 今回の未実施:コード全体監査、依存関係監査、ローカルデモ、ベンチマーク再現

まとめ

Harness²の面白さは、「新しいモデルを待つ」以外の進化経路を具体化したことです。固定したモデルでも、指示、記憶、スキル、道具、委任、実行規則をEvidenceに基づいて組み替えれば、仕事の質を改善できる可能性があります。

これはHuman OSのFailure Library、Role Fit、Evidenceによる判断更新と強く接続します。一方、著者自身が回帰・共有バイアス・追加コストを認めており、公開実装は強い権限で動く前提です。魅力的な研究だからこそ、「改善できる」と「安全に任せられる」は別に検証する必要があります。

出典

1
0
1

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?