AIエージェントがMCPサーバーを通してアプリケーションを操作する方法について調べた備忘録です。
※執筆をAIでサポートしてもらっています。

⸻

AIエージェントはどうやってアプリケーションを操作しているのか

― MCP（Model Context Protocol）を中心に理解する ―

はじめに

最近の AI エージェントは、
「質問に答える」だけでなく、アプリケーションを直接操作するようになってきています。

本記事は、

AIエージェントが、どのようにしてアプリケーションを操作しているのか

を調べた備忘録です。
特に MCP（Model Context Protocol）を軸に整理します。

⸻

LLM は「文字を出力するだけ」

まず重要な前提として：
• LLM（大規模言語モデル）は何も実行しない
• できるのはテキスト（トークン）を出力することだけ

{
"tool": "play",
"params": { ... }
}

これは「命令文」であって、
この時点ではまだ何も起きていません。

⸻

実際に動かしているのは「エージェント」

LLMの出力を受け取って、
• パースする
• 適切なツールを選ぶ
• 実行する

この役割を担っているのが AIエージェントです。

エージェントは、
• LLM
• ツール実行ロジック
• 外部通信

をまとめた実行主体だと考えると理解しやすいです。

⸻

ツール実行方式はいろいろあるが、MCP が強い

ツール実行の方法には様々な方式があります：
• SDK直結
• 独自 RPC
• HTTP API
• OSC などのプロトコル

その中で最近よく使われているのが
MCP（Model Context Protocol）です。

⸻

MCPとは何か（超要約）
• エージェントとツールの共通プロトコル
• JSON ベース
• ツール定義・実行・レスポンスを統一

重要なのは：

エージェントは MCP クライアントとして振る舞う

という点です。

⸻

エージェントと MCP サーバーの通信

エージェントは MCPクライアントとして
MCPサーバーと通信します。

この通信方式としてよく使われるのが：
• STDIO（標準入出力）
• HTTP + SSE（Server-Sent Events）

STDIO の場合
• エージェントが MCP サーバーを子プロセスとして起動
• stdin にリクエストを書く
• stdout からレスポンスを読む

HTTP / SSE の場合
• エージェントが HTTP リクエストを送る
• MCP サーバーが SSE でイベント（結果）を返す

⸻

MCPサーバーはどうやってアプリを操作するのか

MCPサーバー自身はアプリケーションを操作する責任者です。

方法はアプリによって異なります：
• 内部スクリプト
• ネイティブ API
• OSC / TCP / IPC

流れとしては：
エージェント
↓
MCPサーバー
↓
アプリケーションAPI

⸻

実行結果は「返り値」として戻る

アプリケーションは：
1. API を実行
2. 結果を MCPサーバーに返す

MCPサーバーはそれを：
• JSON のレスポンスとして
• エージェントに返す

つまり、

エージェントは「返り値」を受け取っているだけ

という、とても素朴な構造です。

⸻

アプリ内部に MCP サーバーがあるケースもある

Unity など一部のケースでは、
• アプリケーション内部で MCP サーバーが動いている

ことがあります。

この場合：
• MCPサーバー ⇄ アプリ間の通信は不要
• API 呼び出しは同一プロセス内

になります。