「第53回MLOps勉強会MCP Ops LT大会」で気になった部分のまとめ

動画
https://www.youtube.com/watch?v=eSUbFcZ8dsk&t=1690s

CrewAI

• AgentごとにTaskを定義
• Taskの実行の仕方をCrewとして定義
  • Sequential
  • Hierarchical
    • Manager Agentを定義する、A2Aが簡単に実装できる

DeerFlow

• DeepResearchに特化したマルチエージェントフレームワーク
• MCP連携も機能として提供

MCP Clientをチャットアプリに実装した話

構成

• ApplicationがMCP Serverとやり取りする
  • Tool一覧を取得してLLMに一緒に渡す
  • ユーザーメッセージに特定パターンがあったときに、Promptを呼び出す
    • /searchで専用のPromptを呼び出す

課題

• MCP Serverとのセッション管理
  • 最初に全部取っておく（キャッシュ）
• 複数のMCP Serverの管理
  • Tool一覧のキャッシュで半分解決
  • {Server名}__{Tool名}で管理

Langfuseの結果(Clickhouse)をMCP経由で利用して改善レポートを作成するAIエージェント

• Agent Development Kitを利用
• 利用したMCP
  • Clickhouse MCP
    • これ？
  • Generation HTML MCP(自作): ClaudeのArtifactみたいなもの？
• LLMOpsにおける評価の進化
  • スコアリング中心→具体的な改善アクション提示が中心
    • さらに進めば自動改善の実行まで任せられるかも？（今度はそれの監視が必要そうだが）
• まずはトレース情報を収集することが大事