AIエージェントを使って成果物を作る機会が増えてきました。
使ってみて感じるのは、モデルの性能差そのものよりも、「使い方(工程と役割分担)」の設計で結果が大きく変わるということです。
この記事では、複数の成果物づくりで得た学びをもとに、安全側に寄せた「再現可能なオーケストレーション設計」をまとめます。
※特定組織の設計・設定値・運用ルール等の非公開情報は扱いません。一般化したパターンとして整理しています。
この記事で伝えたいこと
AIエージェント活用で一番効くのは、派手なテクニックというより、
- 役割(誰が何を担当するか)
- 順番(どの工程で何を確定させるか)
- ルール(何を書いてよい/書いてはいけないか)
- 検証(どこで止めるか)
こういうものを先に固定することだと思っています。
言い換えると、オーケストレーション=「役割×順番×検証」の設計です。
当たり前の話ですが、当たり前ほど効きます。
2つのケースを振り返る
具体名や背景は避けて、構造だけ書きます。
Case A:文章量のあるドキュメント作成(うまくいったが、苦労が多かった)
例えば、数十〜百ページ規模のドキュメントを、AIの力を借りて短期間でまとめたことがあります。
量産自体はできたのですが、誇張・整合性・制約無視が“最後に噴き出す”のが一番の課題でした。
AIに下書きを作らせること自体はうまくいきました。
ただ、途中で困るポイントがいくつかありました。
- 誇張した表現が混ざる(できないことをできるように書く)
- 制約を無視した理想論に寄る
- 整合性が崩れる(章ごとに前提がズレる、トーンが揺れる)
- レビューの責任所在が曖昧になる(AIがAIを見て通ってしまう)
結局、最後は人間が丁寧に読み直して、現実的な形に収束させる作業が必要でした。
振り返ると、チェック観点や工程は用意していました。
ただ、入力・役割・検証が分断されていて、工程全体としての強制力が弱かったのだと思います。
Case B:複数ファイルの教材・ドキュメント作成(かなりスムーズだった)
次の機会では、Case Aの反省をそのまま工程に入れました。
GitHub上でIssueとPRベースの作業フローに落とし込んだことで、
作業が驚くほど安定しました。
それが、前回の記事でご紹介した学習教材です。
https://qiita.com/hagix/items/a64ed1b6fc39454e1bb7
別にAIが賢くなったわけではなくて、オーケストレーションを固定したからだと思います。
何が効いたのか:オーケストレーション設計の最小形
ここからが本題です。私が落ち着いた最小形は、次の「役割×順番」です。
役割を分ける(4役で十分)
- Planner(人):目的・読者・制約・NGを決める。最終責任を持つ
- Writer(AI):下書きを量産する。迷ったら前提を質問させる
- Checker(AI+人):矛盾・根拠・トーン・NG違反をチェックする
- Builder(機械):整形や形式チェック(リンク切れ等)を機械的に確認する
「AIに全部やらせる」のではなく、AIを「役割の一部」に閉じ込めるのがポイントです。
順番を固定する(工程で暴走させない)
工程はこんな感じで固定しています。
Plan → Brief → Draft → Verify → Assemble
- Plan:何を作るか、どこまで作るかを人が決める
- Brief:AIに渡す指示書(入力)を作る
- Draft:AIが下書きを作る
-
Verify:
- Gate 1(AIチェック):誇張・矛盾・根拠なし・NG混入を機械的に落とす
- Gate 2(人の最終確認):リスクが無いか/言い回しが過剰でないかだけ確認する
- Assemble:形式を整えて完成形にする
Verify(検証)が工程に入っていないと、最後にまとめて手戻りが発生しやすいです。
入力の型を固定する(ここが9割)
出力の差は、入力の差です。
曖昧な指示は、曖昧な成果物になります。
そこで、入力(指示書)をテンプレート化して、毎回この形で書くようにしました。
もう一つ効いたのは、指示書(入力)のたたき台そのものをAIに作らせ、人が整える方式です。
人が書くと「察して」で省略しがちですが、AIに下書きさせると必要事項が自然に埋まり、結果が安定しました。
指示書テンプレ(最小構成)
## Brief(指示書テンプレ)
- 目的:
- 読者:
- 前提/制約:
- NG(書かないこと):
- 参考にしてよい公開リンク:
- 出力形式(見出し案/文体/分量):
- セルフチェック観点(誇張・矛盾・根拠):
「AIが忘れる」ことを前提に、毎回入力で強制します。
人間が書くより“前提の書き漏れ”が減るので、後段のVerifyが効きやすくなります。
安全側に倒すためのNGルール(最小セット)
私が必ず入れているNGは次の3つです。
- 根拠のない断定をしない(分からないなら分からないと書く)
- 誇張しない(実現条件があるなら条件を書く)
- 個別要件を混ぜない(一般化したパターンとして書く)
これだけでも事故率はかなり下がります。
まとめ:モデル選びより、工程を設計する
AIエージェントは優秀な「作業担当」になります。
ただ、放任すると、誇張・整合性崩れ・制約無視が起きやすいです。
だからこそ、モデルを選ぶ前に、
- 役割を分ける
- 順番を固定する
- 入力テンプレで強制する
- 検証工程で落とす
というオーケストレーション設計を先に作るのが、結局いちばん効くと思っています。
もし今後、チームでAI活用を広げるなら、まずはこの「最小形」から始めるのがおすすめです。