はじめに
Claude Code の Computer Use は、Claude が macOS 上のアプリケーションを直接操作できる機能です。CLI のセッション内で Claude がアプリを起動し、クリック・入力・スクロールを行い、スクリーンショットを撮影して結果を確認する — コードを書くところから GUI の検証までを一貫して任せられます。
この記事では、以下の内容を解説します。
- Computer Use の概要と対応環境
- 有効化の手順と macOS 権限の設定
- 具体的なユースケースとプロンプト例
- 動作の仕組みとツール選択の優先順位
- 安全性の設計とガードレール
- トラブルシューティング
Computer Use とは
Computer Use は、Claude Code に組み込まれた MCP サーバー（computer-use）として提供される機能です。有効にすると、Claude はマウスとキーボードを使ってアプリケーションを操作できるようになります。
たとえば、「Swift アプリをビルドして起動し、すべてのタブをクリックしてクラッシュしないか確認して」と依頼すると、Claude は xcodebuild でコンパイルし、アプリを起動し、各タブをクリックして動作を検証し、スクリーンショットで結果を報告します。
対応環境
| 項目 | 要件 |
|---|---|
| OS | macOS のみ（Linux / Windows は非対応） |
| プラン | Pro または Max（Team / Enterprise は非対応） |
| バージョン | Claude Code v2.1.85 以降 |
| セッション | 対話型セッションのみ（-p フラグの非対話モードでは使用不可） |
Computer Use は研究プレビュー（Research Preview）として提供されています。今後の更新で動作が変更される可能性があります。
Desktop アプリとの違い
Claude Code（CLI）と Desktop アプリはどちらも同じ Computer Use エンジンを使用しています。ただし、いくつかの違いがあります。
| 機能 | Desktop | CLI |
|---|---|---|
| 有効化 | 設定画面のトグル |
/mcp コマンドで有効化 |
| 拒否アプリの管理 | 設定画面で構成可能 | 未対応 |
| アプリの自動再表示 | オプション | 常にオン |
有効化の手順
Computer Use はデフォルトで無効です。以下の手順で有効化します。
1. バージョンを確認する
claude --version
v2.1.85 以降であることを確認してください。古い場合は claude update でアップデートします。
2. MCP メニューから有効化する
Claude Code のセッション内で /mcp コマンドを実行します。
/mcp
サーバー一覧に computer-use が表示されるので、選択して Enable を実行します。この設定はプロジェクト単位で保存されるため、一度有効化すれば同じプロジェクトでは再設定不要です。
3. macOS の権限を付与する
初回使用時に、以下の 2 つの権限を求めるプロンプトが表示されます。
- アクセシビリティ: Claude がクリック、入力、スクロールを実行するために必要
- 画面収録: Claude が画面の内容を確認するために必要
プロンプト内のリンクからシステム設定の該当画面を開き、権限を付与してください。画面収録の権限付与後は Claude Code の再起動が必要な場合があります。
権限を付与したら、プロンプトの Try again を選択してください。macOS のバージョンによっては、画面収録の権限付与後にターミナルアプリの再起動が必要です。
4. 動作を確認する
セットアップが完了したら、GUI 操作が必要なタスクを依頼してみましょう。
アプリをビルドして起動し、各タブをクリックして動作を確認してください。
エラーがあればスクリーンショットを撮ってください。
ユースケース
Computer Use は GUI が必要なタスクを得意とします。ターミナルだけでは完結しない作業を Claude に任せられます。
ネイティブアプリのビルドと検証
コードを書いた後、ビルドから UI 検証までを一気に依頼できます。
MenuBarStats ターゲットをビルドして起動し、設定ウィンドウを開いて、
インターバルスライダーがラベルを正しく更新するか確認してください。
完了したら設定ウィンドウのスクリーンショットを撮ってください。
Claude は xcodebuild を実行し、アプリを起動し、UI を操作して結果を報告します。
E2E UI テスト
Playwright や XCTest の設定なしに、GUI を直接操作してテストできます。
iOS Simulator を開いてアプリを起動し、オンボーディング画面をタップして
進めてください。各画面の読み込みに 1 秒以上かかるものがあれば報告してください。
ビジュアルバグのデバッグ
レイアウトの崩れなど、目で見ないとわからないバグの再現と修正ができます。
設定モーダルが狭いウィンドウでフッターが切れるバグがあります。
ウィンドウを縮小して再現し、スクリーンショットを撮った後、
CSS を修正して再度確認してください。
Claude はウィンドウをリサイズしてバグを再現し、スクリーンショットを撮り、CSS を修正し、修正後の状態も確認します。
GUI 専用ツールの操作
CLI や API を持たないツール — デザインツール、ハードウェア制御パネル、iOS Simulator、独自の業務アプリなど — を Claude に操作させることができます。
動作の仕組み
ツール選択の優先順位
Claude は最も精度の高いツールを優先して使います。Computer Use は最も広範だが最も遅い手段であり、他のツールで対応できない場合にのみ使用されます。
- MCP サーバー — 対象サービスの MCP サーバーがあれば、それを使う
- Bash — シェルコマンドで完結するタスクは Bash を使う
- Claude in Chrome — ブラウザ操作が必要で、Chrome 連携が設定済みならそれを使う
- Computer Use — 上記のいずれでも対応できない場合に使う
つまり、Computer Use はネイティブアプリや Simulator など、他の手段では到達できない操作のために予約されています。
セッション中の動作
Computer Use が動作している間、以下の挙動になります。
- アプリの非表示: Claude が承認済みアプリのみを操作できるよう、他のアプリは自動的に非表示になります。操作完了後に自動で復元されます
- ターミナルの除外: ターミナルウィンドウは表示されたままですが、スクリーンショットからは除外されます。Claude が自身の出力を見ることはありません
- マシンワイドロック: 同時に 1 つのセッションのみが Computer Use を使用できます
停止方法
Computer Use がロックを取得すると、macOS の通知が表示されます。
-
Escキー: どこからでも現在の操作を即座に中断できます -
Ctrl+C: ターミナル内で中断できます
いずれの場合も、Claude はロックを解放し、非表示にしたアプリを復元して制御を返します。
安全性の仕組み
Computer Use は サンドボックス化された Bash ツール とは異なり、実際のデスクトップ上で承認したアプリにアクセスします。信頼境界が異なるため、Computer Use の安全ガイド も合わせて確認してください。
アプリ単位の承認
computer-use サーバーを有効化しても、すべてのアプリにアクセスできるわけではありません。セッション中に Claude が特定のアプリを操作する必要がある場合、ターミナルに承認プロンプトが表示されます。
- どのアプリを操作するか
- 追加の権限（クリップボードアクセスなど）
- 操作中に非表示になるアプリの数
Allow for this session または Deny を選択します。承認は現在のセッション限りです。
危険なアプリへの警告
広範なアクセス権を持つアプリには追加の警告が表示されます。
| 警告 | 対象アプリ |
|---|---|
| シェルアクセスと同等 | Terminal、iTerm、VS Code、Warp など |
| 任意のファイルを読み書き可能 | Finder |
| システム設定を変更可能 | システム設定 |
これらのアプリがブロックされるわけではなく、承認前にリスクを判断できるよう警告が出る仕組みです。
その他のガードレール
- ターミナルのスクリーンショット除外: Claude のセッション出力がフィードバックされるのを防ぎ、プロンプトインジェクションのリスクを軽減します
-
グローバル Esc:
Escキーの押下は消費され、プロンプトインジェクションによってダイアログを閉じる操作に悪用されることを防ぎます - ロックファイル: 同時に 1 つのセッションのみが操作可能。別セッションが操作中の場合はエラーメッセージが表示されます
実践 Tips
シンプルなタスクから始める
初めて使う場合は、「アプリを起動してスクリーンショットを撮って」程度のタスクから始めましょう。Claude の操作感を把握してから、複雑なワークフローに進むのがおすすめです。
具体的なプロンプトを書く
UI 操作は曖昧さが生まれやすいため、操作対象を具体的に指示すると精度が上がります。
# 良い例
設定ウィンドウを開き、「全般」タブのインターバルスライダーを右端まで動かしてください。
# 曖昧な例
設定を変更してください。
MCP ツールと組み合わせる
API がある部分は MCP サーバーを、GUI でしかできない操作は Computer Use を使うハイブリッドワークフローが効率的です。Claude は自動的にツールを使い分けます。
セッション再起動で承認はリセットされる
アプリの承認はセッション単位です。Claude Code を再起動すると、再度承認が必要になります。これはセキュリティ上の設計です。
トラブルシューティング
「Computer use is in use by another Claude session」
別の Claude Code セッションがロックを保持しています。そのセッションでのタスクを完了するか、セッションを終了してください。クラッシュした場合は、プロセスが停止したことを Claude が検出した時点でロックが自動解放されます。
macOS の権限プロンプトが繰り返し表示される
画面収録の権限付与後にプロセスの再起動が必要な場合があります。Claude Code を完全に終了し、新しいセッションを開始してください。それでも解決しない場合は、システム設定 > プライバシーとセキュリティ > 画面収録 でターミナルアプリが有効になっていることを確認してください。
/mcp に computer-use が表示されない
以下を確認してください。
- macOS を使用しているか（Linux / Windows は非対応）
- Claude Code v2.1.85 以降か（
claude --versionで確認） - Pro または Max プランか（
/statusで確認） - claude.ai 経由で認証しているか（Amazon Bedrock、Google Cloud Vertex AI、Microsoft Foundry などのサードパーティプロバイダーでは利用不可）
- 対話型セッションか（
-pフラグの非対話モードでは利用不可）
まとめ
- Computer Use は Claude Code から macOS アプリを直接操作できる機能で、コーディングから GUI 検証までをシームレスに行える
-
/mcpコマンドでcomputer-useサーバーを有効化し、macOS のアクセシビリティ・画面収録権限を付与して使用する - Claude はツール選択に優先順位を持ち、Computer Use は MCP・Bash・Chrome で対応できない場合の最終手段として使用される
- アプリ単位のセッション承認、危険アプリへの警告、ターミナル除外など、多層的な安全設計が施されている
- 現時点では macOS の Pro / Max プラン限定の研究プレビューとして提供されている