本記事では、PyMCPAutoGUIというMCPサーバーを利用して、CursorなどのMCP互換クライアントと接続する手順を説明します。MCPサーバーを実際に触ってMCPの理解を深めてみましょう。

PyMCPAutoGUIはAIエージェントが画面操作やキーボード・マウス操作を行うためのツールです。GUIの自動化やテスト自動化、さらにはデスクトップアプリケーションとの連携などに大いに役立ってくれるようになるのではと思い、開発しました。

1. PyMCPAutoGUIとは？

PyMCPAutoGUIは、Python製のGUIオートメーションライブラリであるPyAutoGUIやPyGetWindowの機能を活用し、MCP（Model Context Protocol）を通してエージェントと連携するための橋渡しを行います。
これにより、CursorなどのMCPクライアントからシンプルなコマンドを送るだけで、マウス移動、クリック、テキスト入力、スクリーンショットの取得など、さまざまなGUI操作を自動実行できます。

2. インストール方法

ここでは、pipを使ったインストール方法と、仮想環境を利用する推奨手順を紹介します。

仮想環境の作成とアクティベート

まずは、プロジェクト毎の依存関係管理のために仮想環境を作成しましょう。

# 仮想環境の作成（venvを利用）

python -m venv .venv

# Windows PowerShellの場合
.venv\Scripts\Activate.ps1

# macOS / Linuxの場合
source .venv/bin/activate

PyMCPAutoGUIのインストール

仮想環境がアクティブな状態で、以下のコマンドを実行してください。

pip install pymcpautogui

※Linux環境では、スクリーンショット機能のためにscrotなどのシステム依存パッケージが必要な場合があります。必要に応じてOSごとの依存関係も確認してください。

3. MCPサーバーの起動

インストールが完了したら、ターミナルからMCPサーバーを起動します。以下のコマンドを実行してください。

python -m pymcpautogui.server

起動後、サーバーが接続待機状態になります。

4. Cursorとの接続設定

次に、MCPクライアントであるCursorとの連携方法を説明します。Cursorは、エディタ内で直接コマンドを送信できるため、非常に効率的です。この場合では3のサーバー起動は不要で、Cursor側がMCPサーバーを起動します。

MCP設定ファイルの編集

MCP設定を開くには、ファイル→ユーザー設定→Cursor Settings に進んでください。Cursor Settings内の MCP タブを選択してください。

PyMCPAutoGUI設定の追加

「Add new global MCP server」ボタンを押すと mcp.jsonと呼ばれるファイルが開きます。mcp.jsonのmcpServersセクションに、以下の設定を追加します。作業ディレクトリやPython実行コマンドはご自身の環境に合わせて調整してください。

{
    "mcpServers": {
        // 他のサーバー設定がある場合はそのまま残してください
        "PyMCPAutoGUI": {
            "command": "フルパス/.venv/Scripts/python.exe" (Windows) / ".venv/bin/python" (macOS/Linux)
            "args": ["-m", "pymcpautogui.server"]
        }
    }
}

設定ファイルを保存すると、Cursorが自動的にPyMCPAutoGUIサーバーを検出し、接続を確立します。設定に成功した場合は、サーバーで使用可能な内容も反映されます。

使用方法

Cursorのチャットウィンドウやコマンドパレットから、以下のようなコマンドを実行することで、GUI操作が可能になります。

# マウス移動:
@PyMCPAutoGUI move_to(x=100, y=200)

# テキスト入力:
@PyMCPAutoGUI write(text='AIで自動化！', interval=0.1)

# スクリーンショット取得:
@PyMCPAutoGUI screenshot(filename='current_screen.png')

# ウィンドウのアクティベート:
@PyMCPAutoGUI activate_window(title='メモ帳')

5. まとめ

本記事では、PyMCPAutoGUIを利用してMCP経由でGUIオートメーションを実現する方法と、Cursorとの接続設定について解説しました。

pipを使用したインストール方法
MCPサーバーの起動手順
Cursorのmcp.jsonへの設定方法

PyMCPAutoGUIをうまく機能できればエージェントがまるで人間のようにGUI操作を行う環境が整います。ぜひこの仕組みを活用して、日々の作業自動化やテスト自動化の効率化にお役立てください！

【参考】

PyMCPAutoGUIの詳細な情報は、GitHubをご覧ください。ライセンスはMITライセンスの下で公開されています。Happy Automation!