1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

AIエージェント向けに、画面を番号付きテキストで渡して変化した行だけ返す MCP サーバー phonedriver

1
Posted at

phonedriver とは

この記事では、Android と iPhone を AI エージェントから操作する MCP サーバー兼 CLI「phonedriver」(Rust 製、AGPL-3.0)を紹介します。筆者は日本語を話せず、この記事は機械翻訳です。

リポジトリには英語の README があります。

仕組み

  • 画面は、スクリーンショットではなく番号付きの短いテキスト一覧としてエージェントに渡されます。エージェントは番号を指定してタップし、各操作のあとは変化した行だけが返ってきます。
  • Android では端末に何もインストールしません。scrcpy と同じ app_process の手法で、adb 経由で小さな常駐プロセスを起動します。
  • Pay、Place order、Delete account といったラベルのボタンのタップは保留され、先にユーザーに確認します。

速度

Android 17 のエミュレーターで 1,000 行のリストを読むのに、p50 で 12.7 ms かかりました。adb shell uiautomator dump は 2,163.7 ms です。実機の HONOR X8 では 78.5 ms 対 2,506.6 ms でした。

デモ

  • 実在する Domino's UK のサイトで、Claude が買い物かごとチェックアウトを入力し、「Buy with GPay」まで進んだところでツールが止まり、確認を求めました。筆者は断り、何も注文されていません。
  • 筆者が登録フォームに 2 つのバグを仕込んだところ、Claude は 49 秒で両方を見つけ、再現手順も添えました。

制限

  • 速度の数値は主にエミュレーターのものです。実機の Android は 1 台でしか試していません。iOS には Xcode が入った Mac が必要です。

インストール

claude mcp add phonedriver -- npx -y phonedriver mcp

リポジトリ: https://github.com/hridaya423/phonedriver
サイト: https://phonedriver.dev
ベンチマーク: https://phonedriver.dev/benchmarks
仕組みの詳細(英語): https://phonedriver.dev/blog/how-phonedriver-works/

1
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?