はじめに
「現場で活用するためのAIエージェント実践入門」の第9章で私がつまずいたことのメモです。
（このメモのほかの章へ：1章 / 2章 / 3章 / 4章 / 5章 / 6章 / 7章 / 8章 / 9章 / 10章 / まとめ）
第9章 AIエージェントの活用
この章は、実際にAIエージェントを活用する視点でのUXやリスク、モニタリング、精度改善の解説です。
9.1 AIエージェントとUX
少し脱線しますが、ここ数年でチャットボットの体験がすごく進化しました。LLMが普及する前のチャットボットは、事前登録されたQA文を自然言語処理と機械学習によるクラス分類で特定して提示するだけなので融通が効きません。でも、チャットのインターフェースは人間のように答えてくれることを期待させてしまうために現実とのギャップが大きく、ユーザー体験がよくありませんでした。「人間に問い合わせをしたいのに、手前のチャットボットが邪魔でわずらわしい」みたいに感じられた方も多かったのではないかと思います。
当時は歓迎されないことも多かったチャットインターフェースでしたが、ここ数年のLLMの進化によって人間のような応対ができるようになり、今では花形のインターフェースになりました。私はLLM普及前のチャットボットのオンボーディングを担当していたことがあるので、チャットボットのインターフェースがAIエージェント時代に再び普及し始めたのを見ると何か感慨深いものがあります。
話を戻します。
人間の業務をAIに移行するに当たっては、本にもあるように、まずは人間が業務を再現する仕組みを作る必要があります。ただ、このアプローチでAIエージェントに人間の業務を再現させようとすると、ワークフローシステムやRPAの高機能版を目指す形になります。
人間の業務手順は人間に最適化されていますが、それがAIエージェントにとっての最適な業務手順とは限りません。今は過渡期なので、人間用の業務フローにおいて人間しかできなかった部分の自動化や支援を進める流れが多いですが、今後は人間がやっていた業務そのものを見直すような話も出てくるのではないかと思います。
9.2 AIエージェントのリスク
バックドア攻撃の話を読んで、てっきりAIエージェントの作り手の悪意によって事前に仕込まれた機能が発動するシンプルな形かと思ったのですが、元の論文ではどの段階をターゲットに攻撃するのかが具体的に整理されていました。
たとえば、長期メモリに悪意のある計画や指示を混入させておき、将来の特定タスクで誤ったツール呼び出しへと誘導する方法や、システムプロンプトに隠し指示を埋め込んでおいて、特定条件下で意図しない挙動を誘発する方法などが紹介されています。
そういえば最近、Anthropicが脱獄攻撃を検出する新しい「Constitutional Classifiers++」を発表していました。検出のためのオーバーヘッドを従来よりも大幅に下げつつ、無害なクエリーを拒否してしまう割合も大きく低減させたそうです。関連URLを貼り付けておきます。
セキュリティ関連はイタチごっこが続くので、対策に終わりのないのが大変なところです。
9.3 AIエージェントのモニタリング
本ではモニタリングツールとしてAgentOps、Promptflow、LangSmithが紹介されていますが、Weaveも選択肢になるかと思いますのでリンクを貼っておきます。
9.4 AIエージェント運用における継続的な精度改善方法
メモリの工夫について本では3つの論文が紹介されていますが、他にも多くの手法が発表されており、ライブラリやサービスもいろいろあります。いくつか知っているものを貼り付けておきます。
LangMem
LangChainが提供しているライブラリです。記憶の構築方法として、AIエージェントにツールとして使わせる形と、会話ログから自動的に記憶を抽出する形があります。
Mem0
Mem0については、ジェネラティブエージェンツの大嶋さんが勉強会を開催しているので、そのときのブログ記事を貼り付けておきます。
AgeMem
AgeMemはつい先日発表されたばかりの論文で、短期記憶と長期記憶を統合する方式です。論文の実験では、AgeMemはLangMemやMem0などのベースラインを上回る平均スコアを報告しています。
コンテキストエンジニアリングにおいてメモリは非常に重要な要素なので、今後もいろいろな方式が編み出されていくかと思います。
プロンプト改善については、最近プロンプトを自動で改善するDSPyが注目されているようです。ジェネラティブエージェンツの西見さんの解説資料がわかりやすいかと思います。
エージェントアーキテクチャの自己改善はとても興味深かったです。特に遺伝的アルゴリズムをAIエージェントに適用するEvoFlowとかおもしろそうでワクワクしますね。AIエージェントの進化から目が離せません。
9.5 まとめ
この章は、実際にAIエージェントを本番適用していくに当たって参考になることが多く勉強になりました。
次回は最終章、著者の方の所属会社が取り組まれている内容の紹介です。
（このメモのほかの章へ：1章 / 2章 / 3章 / 4章 / 5章 / 6章 / 7章 / 8章 / 9章 / 10章 / まとめ）