近年、AIによるコード生成能力は急速に進化しています。要件をコーディングエージェントに渡せば、既存コードの読解・変更・テスト実行、さらにはプルリクエスト(PR)の準備まで自動で行えるようになりました。しかし、実際のR&D現場では、こうした進化にもかかわらず、一つの要件が「要件提起」から「本番リリース」までに至るまでの期間が依然として長いという課題に直面しています。
この問いを起点として、私たちはAgentCoreを活用し、役割分担の異なる15体のエージェントを「R&Dチーム」として組織化し、開発・検証・リリースに至る一連の完全なデリバリープロセスに参加させました。さらに、AgentLoopを用いてその実行ログを分析・可視化し、チーム全体のパフォーマンスを継続的に改善する仕組みを構築しました。本稿では、このアプローチの設計思想と、実運用で遭遇した具体的な課題について解説します。
01 AIは「継続的なタスク遂行」へと進化した
初期のチャットボット時代には、ユーザーが1つの質問を投げ、それに応じた1つの回答を待つという使い方が主流でした。知識整理・文章作成・要約生成など、単一タスクには有効でしたが、複雑な問題に対する回答の信頼性は十分に安定していませんでした。
その後、DeepSeek R1などの推論型モデルが登場し、より深く体系的な思考を通じて複雑な課題に対応できるようになりました。さらに、モデルは外部ツール呼び出し(tool-calling)機能を獲得しました。これにより、外部情報の取得・コマンド実行・ファイル編集といった操作が可能となり、AIは単なる「回答者」から、実際に「タスクを遂行する主体」へと進化しました。
こうした能力が整った今、次のステップは「エージェントが継続的に働き続けること」です。すなわち、環境を観察し、行動を起こし、結果を確認し、問題があれば手法を調整し、さらに前進を続ける——というサイクルを自律的に回すことです。
コーディング領域では、この進化はすでに明確に現れています。関連するベンチマーク指標は、およそ33%から70%以上へと向上しています。同時に、AIが対応可能なタスクの複雑度も着実に高まっています。人間の専門家が同様のタスクを完了するのに要する時間と比較すると、その時間スケールは約7か月ごとに約2倍になるペースで伸びています。
R&Dチームにとって、これは新たな可能性を示しています。つまり、エージェントを「短期的な単一タスク」ではなく、「継続的に推進が必要な長期ワークフロー」に参加させ、より多くの工程を任せることができるようになるのです。
02 コードは速く書けるようになった——なぜデリバリーはまだ遅いのか?
チームにおける複雑な新機能(Feature)の典型的なフローを概算すると、要件提起から本番リリースまでに約20営業日かかります。そのうち、実際のコーディング作業に費やされるのはわずか2日間です。仮にコーディングエージェントがコーディングを10倍の速度で行えたとしても、この2日間は0.2日(約2時間)に短縮されます。しかし、これを全体フローに組み入れても、デリバリーサイクルは20日から18.2日にしか短縮されません。
残りの18日弱はどこに使われているのでしょうか?
要件の明確化に向けての議論、仕様(Spec)の再確認と合意形成、既存アーキテクチャへの適合性検討——これらはコーディング以前の工程です。また、コード完成後も、テスト実行、レビュープロセス、他モジュールとの統合、リリース準備といった工程が続きます。さらに、途中で問題が発生すれば、前の工程に戻って再調整する「巻き戻し」も頻繁に発生します。つまり、コーディングが高速化されたことで、むしろ「要件確認」「連携」「検証」「待ち時間」などの非コーディング工程が、全体フローにおけるボトルネックとしてより顕在化しているのです。
そこで次に目指すべきは、これらの工程にもエージェントを参画させ、タスク全体を一貫して支えることです。コンテキストはタスクとともに下流へと引き継がれ、検証結果は即座に次の工程を駆動します。人間は、ゴール設定・アーキテクチャ設計・リスク判断といった、より戦略的な判断に集中できるようになります。
03 15体のエージェントをR&Dチームとして組織化する
私たちのアプローチは、R&Dプロセス内で各役割が担う業務を、それぞれ専門性を持つエージェントに分割し、AgentCoreを基盤としてそれらを統合的に運用することです。
この15体のエージェントは、タスクの性質に応じてリーダーが柔軟にスケジューリングする「能力プール」を構成します。各ワーカーは、独自のスキル(Skill)、利用可能なツール(Tool)、および明確な責任範囲(Responsibility)を持ちます。
| 役割 | 主な責任 | 主な成果物 |
|---|---|---|
| Researcher(研究者) | 要件とコードベースの理解、問題の根拠マップ構築 | 関連モジュール、制約条件、過去の変更履歴 |
| Explorer(探索者) | 同種の実装例の探索、候補ソリューションの策定 | リファレンスアンカー、ソリューション比較表 |
| Spec(仕様策定者) | 目標・境界・受入基準の構造化 | 実行可能な仕様書(Executable Spec) |
| Code Worker(実装者) | 独立ブランチ・独立セッションで候補ソリューションを実装 | コード変更差分 |
| Test / Harness(検証者) | コンパイル・テスト実行・エンドツーエンド検証 | 再現可能なテスト証拠 |
| Judge / Verify(審査者) | 候補の独立選定、意味的受入検証、逆向きレビュー(adversarial review) | レビュー結論、失敗フィードバック |
| Deploy(デプロイ担当) | 環境準備、リリース検証の実行 | リリース/ロールバック証拠 |
タスクが到着すると、リーダーは以下の判断を行います:
・最初に何を行うべきか
・誰に依頼すべきか
・完了時の確認方法は何か
・問題発生時にどの工程へ戻るべきか
例えば、テストが失敗した場合は、元のコードセッションへ戻って修正を継続します。一方、アプローチ自体の方向性が誤っていたと判明した場合は、失敗の証拠をもとにResearchとExploreを再実行します。また、複数回の試行でも収束しない場合には「Human Gate(人間ゲート)」をトリガーし、専門家による判断を要請します。
ここで最も重要なのは「タスク状態の維持」です。前段のエージェントが何を実施し、なぜそのように判断したのか、検証中に何が見つかったのか——こうした情報は、以降のエージェントがすべて参照・活用できる必要があります。
タスクはIssueから開始でき、Chat経由で随時情報を追加可能です。最終的に提供される成果物は、コードとPRに加え、テストレポート、レビュー証拠、進行状況、ブロッカー情報、そして完全な実行トレース(run trace)を含みます。
私たちの目標は、このチームが「要件提起」から「検証済みデリバリー」までを一貫して推進し、さらに自動デプロイ・自動リリースへと拡張していくことです。
04 プロセスが稼働し始めると、新たな課題も浮上した
エージェントの組織化と単一タスクの実行成功は、あくまで第一歩に過ぎません。実際のR&Dプロセスに投入してみると、次第にいくつかの持続的な課題が明らかになりました。
第一に、「要件は明確に記述されていても、アーキテクチャ上の制約が伝達されない」ことがあります。
たとえば、既存APIの機能拡張を依頼したい場合、エージェントに「既存APIを拡張する」という制約を明示しなければ、エージェントは「新しいAPIを追加する」という、一見シンプルな解決策を選択してしまう可能性があります。単一タスクの文脈ではそれが最適に見えても、システム全体の設計方針やチームの規約には反するケースがあります。
こうした情報は、通常、コード内・ドキュメント内・あるいはメンバーの経験知に埋もれており、業務の変化に合わせて継続的に抽出・更新する必要があります。
第二に、「現実のシナリオは、誰も予期しなかった問題を常に持ち込みます」。
従来のソフトウェアでは、既知の機能パスに基づいたテスト設計が可能です。しかし、AIアプリケーションの入力ははるかに開放的です。ユーザーは質問を異なる言い回しで行ったり、設計時点で一切想定されていなかった要求を提示したりします。
例えば、「フードデリバリーAPP内でPythonプログラムを書く方法」を尋ねられることは、そもそもビジネス範囲外の話です。こうしたケースを初日から網羅することは不可能であり、システムの運用を通じて、継続的に発見・追加していくしかありません。
第三に、「同じ問題が繰り返し発生する」ことがあります。
あるタスクを一度成功させたからといって、その後のタスクもスムーズに進むとは限りません。コード・ビジネスルール・実行環境は常に変化しており、経験を継続的に蓄積しなければ、エージェントは同じ失敗を何度も繰り返し、無駄な時間とトークンを消費した末に、結局人間の介入を必要とするでしょう。
第四に、「ある問題の修正が他のタスクに悪影響を及ぼす」ことがあります。
あるスキル(Skill)を変更して現在のケースは通過しても、別のケースでリグレッション(機能劣化)が発生する可能性があります。そのため、すべての最適化後に、比較的安定したベンチマークとリグレッションチェックを実施し、「全体としてのパフォーマンスが本当に向上したか」を検証する必要があります。
こうした課題から、私たちは「エージェントが継続的に実行・観察・調整するためのメカニズム」の必要性を強く認識しました。
05 AgentLoopで実行結果を次なる改善へと還元する
私たちは、AgentCoreを「実行基盤(running plane)」、AgentLoopを「最適化基盤(optimization plane)」として位置づけています。
AgentCoreは、チームを率いてタスクを完了させる役割を担います。一方、AgentLoopは、そのタスクがどのように完了されたかを記録・分析します。具体的には、どのモデル・どのツールが呼び出されたか、どこで失敗したか、何回の再試行が発生したか、最終結果が要件を満たしていたか——といった情報を収集します。
これらのトレース(Trace)、セッション(Session)、軌道(Trajectory)データは、パイプライン(Pipeline)、データセット(Dataset)、評価(Evaluation)、実験(Experiment)を経て、再現可能なサンプル、比較可能な指標、何度でも検証可能な実験へと昇華されます。
この仕組みにより、まず1つの具体的な問題から出発し、原因を特定し、スキル・ツール・協調フローを調整して再実行し、本当に改善されたかを検証できます。そして、各実行によって得られる新たなトレースは、次のチューニングサイクルへとフィードバックされます。
このプロセスでは、以下の3つのアプローチを採用しています(慣習的に「手動」「半自動」「自動」と呼んでいます)。
「手動」は、ドメインエキスパートが主導します。
エキスパートがまず「良い結果とは何か」を明確に定義し、注目すべき指標や評価基準(Rubric)を設定します。評価後に不良事例(Bad Cases)を抽出し、それをデータセットに追加。その後、さまざまなアプローチを実験で比較・検証します。
「半自動」は、システムが最適化のヒントを提案します。
たとえば、「どのタスクが過剰なトークンを消費したか」「どの工程が非効率だったか」「どのツールが頻繁にエラーを報告したか」などを、システムが自動で集計・レポート化します。エキスパートはこのレポートをもとに、ピンポイントで調整を行います。
「自動」は、経験リポジトリ(experience repository)を活用し、経験を継続的に蓄積・再利用する仕組みです。
RAC(Retrieval-Augmented Collaboration)アプローチに従い、システムは実行トレースから経験を抽出し、それをダイナミックにエージェントへ注入します。経験の「沈殿(sedimenting)」と「注入(injecting)」は自動化可能であり、エキスパートが1つずつ手動で整理する必要はありません。蓄積された経験は、後のタスクで即座に活用されます。
この3つのアプローチは併用可能です:エキスパートが目標を定め、システムが分析を支援し、経験リポジトリが継続的な学習を担保します。
06 コーディングシナリオにおけるチューニング手法
主に2つの活動を行いました:専門家の実装をもとにオフライン基準(baseline)を構築し、実運用からの実行ログをもとに経験を継続的に蓄積することです。
まず、オフライン実験です。
コードベースから、品質の高い人間専門家のコミットを20件選定し、そこから対応する要件文を生成してベンチマークを構築しました。
次に、エージェントチームにこれらのタスクを実行させ、その結果を専門家の実装と並べて評価しました。評価項目は以下の通りです:
・アプローチにズレがないか
・コードに問題はないか
・検証が十分に行われているか
・エージェント間の役割分担は適切か
問題点が見つかれば、システムを調整し、再度実験とリグレッションテストを実施します。このようにすることで、各調整に対して比較的固定された検証項目が確保され、どこが改善されたか・どこがまだ課題なのかが明確になります。
次に、オンラインでの経験蓄積です。
実際のタスクは日々新たなトレースを生み出します。経験リポジトリは、それらから当該問題クラスの標準作業手順(SOP)、優れた実行パス、ツール呼び出し・ルーティングにおけるアンチパターンを抽出します。たとえば、あるツール呼び出しパターンが繰り返し失敗する場合、そのパターンを記録しておけば、類似事象が発生した際にエージェントが自動的に回避できます。また、ある問題クラスに有効な解決パスが見つかれば、それを経験として登録し、後のタスクで再利用可能です。
オフライン実験は専門家基準との比較を可能にし、オンライン経験は実運用からのフィードバックを継続的に吸収する力を与えます。
複数エージェントの協調については、「調査→探索→実装→検証・比較」という継続的なループを採用しました。受入条件を満たさなければ、フィードバックを次ラウンドへ持ち越し、満たせばデリバリーへと進みます。これはReActフレームワークの「観察–行動–フィードバック」の考え方に似ていますが、それを複数の役割間の協調に適用したものです。
実践を通して、特に重要だとわかった点が2つあります。
1つ目は、実装と検証を異なるエージェントが担当することで、検証に独立した視点を保つこと。
2つ目は、反復間で必要なコンテキストを維持し、次のラウンドが既存の証拠と試行結果をもとに前進できることです。
07 スコープが明確なシナリオから始める
コーディングタスクは本質的に非常にオープンです。「同じ要件」でも、実装方法は多数存在します。そのため、まずタスクの範囲と受入条件を明確に定義することが不可欠です。現在、2つのシナリオのサンプルが本番環境に導入されています。
その1つは「Trace to Trajectoryサービス」から生まれたシナリオです。このサービスはトレースデータを軌道(trajectory)データへ変換するもので、本番環境では新たなパース例外が継続的に発生しています。
未解析の不具合事例(Bad Case)が発生すると、関連情報をログに記録し、アラートが発火して新しいIssueが作成されます。その後、R&Dチームが起動し、問題の特定・コード修正・検証を経て、検証済みデリバリーへと至ります。
最終検証には19の質問を用意しました。そのうち約10問は、人間専門家の解法とほぼ同等の実装を生成し、さらに5問は専門家レベルに近い品質を達成しました。こうしたスコープが明確で制約のあるシナリオでは、デリバリーサイクルも約1か月から1週間未満へと大幅に短縮されました。
この実践において、私たちが最も価値を感じているのは、「要件・実装・検証・フィードバック」が1つの完全なプロセスとして結合し始めた点です。AgentCoreは複数のエージェントをチームのように協調させ、AgentLoopはそのチームが自身の経験を記憶し、各デリバリーから学び、次に来るタスクを少しずつより良くこなせるようにする——そんな「進化するR&Dチーム」の基盤を築いているのです。
この記事は Alibaba Cloud Blog の記事を翻訳したものです。






