0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

ループエンジニアリングは実際に作るとどこで詰まるのか

0
Posted at

ループエンジニアリングやソフトウェアファクトリーという言葉を見かけることが増えました。概念の整理も進んでいて、例えばこちらの記事は、ループエンジニアリングの本質を「人間が毎回起動しなくても回るように、エージェントの外側に仕組みを作ること」だと整理されていて、しっかり言語化されていてわかりやすいと思いました!

私はその「外側の仕組み」を試作していて、時間を食う部分が見えてきたので記事にしました。

ここ1ヶ月ほど、GitHub Issueを自律処理するパイプラインを作っています。トリアージ→設計→実装→開発完了処理の4フェーズ構成で、トリアージと設計は完成、実装は運用検証中、完了処理は設計中という進み具合です。それぞれのフェーズは別々のスケジュールで定期実行され、Issueのラベルだけを介してタスクを受け渡します。

この記事は完成報告ではありません。作っている途中で固まってきた設計の考え方——特に「どこで詰まるのか」を説明します。

構築中のシステムの話のため、数ヶ月運用したら考えが変わっている可能性はあります。

最初のループは、壊れても困らないものから始めた

いきなり工場の話に入る前に、順序の話をひとつ。

コードを書き換える工場を作る前に、私はもっと安全なループを先に回しはじめました。スプリントのIssue消化具合を集計し、バーンダウンチャートを更新して、毎朝Slackに通知するルーチンです。スプリント期間が切り替わるタイミングでは、切り替え処理も自動でやってくれます。

集計と通知は基本的に読み取りとレポーティングなので、エージェントが多少変な動きをしても壊れるものがありません。非決定的な分岐が発生しない練習台です。ここでタイマー起動、通知の設計、期間切り替えのような状態遷移といった「運用ループの型」を先に体で覚えてから、コードに手を入れる工場に進みました。

これから最初のループを作る人には、最初に簡単な日次/週次でやっているような集計作業等で試すことをおすすめします。工場で問われる起動・通知・状態管理の練習は十分にできます。

skillsで釘を刺しても、エージェントは逸脱する

まず実際に起きたことから紹介します。

誤動作を防ぐために、エージェントに使わせたい操作はラッパースクリプトとして切り出し、skillsには「操作は必ずこのラッパー経由で行うこと」と明記しました。釘を刺したつもりでした。それでも生のコマンドを組み立てて許可を求めてきます。

もっと厄介だったのはサブエージェントです。エージェントがタスクを分解してサブエージェントに投げはじめると、許可していないコマンドを平気で多用します。考えてみれば当然で、skillsはメインエージェントのコンテキストに載っている「お願い」にすぎません。サブエージェントは薄いコンテキストで起動されるので、お願いは継承されず素の挙動に戻ります。

またauto modeは使っていません。auto modeで予期しないCRUDが通ってしまうと、ループが壊れるだけでは済まず、下手をすると業務そのものが止まります。基本的に業務とは別に裏で回している以上、その賭けは割に合いません。強制層で逸脱を機械的に止められるようになるまで、破壊的操作の最終判断は人間側に置く、と決めています。

※前提として、各ループの実行基盤にはClaude Desktopのルーチンを使っています。ルーチン側のプロンプトは最低限に絞り、具体的な指示はskillsに書く構成です。指示をskillsに寄せておけば複数のルーチンから同じ手順を再利用できるし、変更管理や環境移行もしやすい。つまり、この構成ではskillsが実質的なハーネスの本体になります。

逸脱は複利で効く

この「たまに逸脱する」を数字にしてみます。

エージェントに委ねた判断ポイントがひとつあたり95%の確率で期待通りに動くとして、ループ1周に判断が10箇所あれば、1周まるごと期待通りに進む確率は約60%まで落ちます。1回きりのタスクなら「たまに変なことをする」で済みますが、定期実行で無人のまま回しつづける工場では、この失敗率が毎回複利で効いてきます。

なので、プロンプトの言い回しをいくら調整しても、この構造自体は変わりません。仮に1箇所あたりの成功率を97%まで上げられたとしても、10箇所あれば1周あたり74%程度です。それより、ラッパーに判断を寄せて箇所数そのものを3つまで減らせば、同じ95%のままでも86%になる。要は、精度を上げるより回数を減らす方が数字が動く、というだけの話です。

LLMの非決定性はゼロにはできないので、「このdiffをどう書くか」「レビューの差し戻しコメントをどう解釈するか」のような、本当に判断力が必要な箇所にだけ非決定性を許し、それ以外はコードに落とす。工場の比喩で言えば、ベルトコンベアと治具は鉄で作り、職人の裁量は加工の瞬間だけに限定する、という話です。

お願い層と強制層を分ける

そう考えると、エージェントへの制約は2種類に分かれます。

層 仕組み 性質
お願い層 skills、プロンプト 読まれて従われることを期待する。確率的
強制層 許可制ラッパー、permissions、hooks ツール実行の層でブロックする。決定的

冒頭の失敗は、決定的に効かせたい制約をお願い層に置いていたことが原因です。skillsは「正しい使い方の案内」に専念させ、逸脱を止めるのは強制層の仕事にする。この分離にはもうひとつ利点があって、テストすべき対象が強制層だけになります。ラッパーや遷移表のテストはただのシェルスクリプトのユニットテストなので、AIの挙動をテストするより格段に楽です。

私の構成ではhooksはまだ試せていません。現状の強制層はラッパースクリプトとpermissionsの組み合わせで、permissionsがルーチン経由の実行でも効くことは確認済みです。ただ、サブエージェント問題を経験した今は、PreToolUseフックで許可リスト外のコマンドを機械的にブロックする形に寄せていくことになると思っています。

状態はラベルで作る。起動スイッチもラベル

もうひとつ、工場の背骨になっているのがIssueラベルによる状態管理です。

ai-process: という名前空間のラベルを10個以上定義していて、Issueの現在地はすべてこのラベルで表現されます。代表的なものだけ挙げると

  • ai-process:ready — 人がこれを付けるとループに拾われる
  • ai-process:spec-draft — 設計ドラフト作成中
  • ai-process:spec-in-review — 設計PRが人のレビュー待ち
  • ai-process:in-review — 実装PRが人のレビュー待ち
  • ai-process:needs-human — 人に聞かないと解決しない。Slackに通知が飛ぶ
  • ai-process:blocked — 依存する他のIssueが終わるまで開始できない
  • ai-process:done — 実装完了、リリース可能

ざっくりですが流れはこうです。

この設計で気に入っているのは、人間の指示が「ラベルを1枚貼る」まで圧縮されていることです。ready を貼ることが工場の起動スイッチで、逆に needs-human は工場からのエスカレーション。

各フェーズのループは別スケジュールで勝手に回り、自分の担当ラベルが付いたIssueだけを拾って、次のラベルに送る。フェーズ間の結合はラベルだけです。

needs-humanは質問されているIssue、レビュー依頼されているPR、ドキュメントなどに人同士でやるようにコメントするだけでAIが拾ってくれるようにしていて、このループで必要になる人の動きも新たな操作を学習しなくても良いようにしています。

人間はどこにいるのか

ここまでの整備、実は大部分をAIエージェント自身に設計・実装させていて、私は監修に回っています。ラッパーも遷移表もテストも、書くのはAIで構いません。

ただ1箇所だけ、レビューの密度を意図的に上げている場所があります。ガードレールそのものです。エージェントが自分の制約を自分で書く構図になるので、ここだけはmaker-checker的に人間が方針を握る。監修すべきは「何を禁止するか」の方針であって、実装の細部ではない、という切り分けにしています。※ただ危険なラッパースクリプトを作成されてしまうリスクはあるので、一定作ったらスクリプトもレビューするようにはしています。

一番時間を食うのは、画面に映らない部分

まとめると、工場を作る準備で一番時間がかかっているのは、モデルの賢さを引き出す工夫ではなく、ラッパースクリプトを切り出し、権限を絞り、ラベルの流れをコードで管理し、それらが想定通り流れていくかテストするという地味な整備です。無人で回しつづけられるかどうかを分けるのは、画面に映らないこの部分だと感じています。

あと数週間で一応通しで動く見込みです。そこから先は、通しで運用してみて出てくる「微妙」「直しにくい」を数ヶ月かけて潰していくフェーズになると予想しています。構築の詳細と、運用して壊れた話は、それぞれ別の記事で書く予定です。

ご意見や「うちではこうしている」があればぜひ聞かせてください。

今回は以上です。

※この記事はzennに私が投稿したものと同じ内容です。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?