AIに「この画面のボタンを押して、表に入力しておいて」と頼めるようになってきました。GitHub Copilotでも、デスクトップアプリを操作する「computer use」がプレビューで使えるようになりました。
便利な反面、AIがマウスとキーボードを持つことになります。この記事では、初めて使う人向けに、安全に始める手順をまとめます。
computer useとは
computer useは、AIが画面を見て、人と同じようにアプリを操作する仕組みです。画面を読み取り、クリック、文字入力、スクロールなどをします。
これまでのエージェントは、ファイルの読み書きやコマンドの実行が中心でした。エージェントの基本は、会話型AIしか使ったことがない人へで書いています。
computer useでは、APIやコマンドがないアプリも操作できます。たとえば、次のような作業です。
- 古い業務ソフトに、表のデータを1件ずつ入力する
- 設定画面を開いて、決まった項目を確認する
- 2つのアプリの画面を見比べて、違いを書き出す
なぜ「任せる範囲」が大事なのか
今週、OpenAIが新しいモデルの公開を取りやめたと発表しました。報道によると、理由の1つは「任された範囲と権限」の基準を満たさなかったことです。
AIは、頼まれていないことまで「気を利かせて」やってしまうことがあります。ファイルの編集なら、差分を見れば戻せます。しかし画面操作では、送信ボタンや削除ボタンを押した結果は、戻せないことがあります。
そこで大事になるのが、AIに持たせる道具と権限の設計です。これは「ハーネス」と呼ばれる考え方の一部です。詳しくはAIの実力はモデルだけでは決まらないで書いています。
始める前に決めておく3つのこと
画面操作を試す前に、次の3つを紙やメモに書き出しておきます。
- 触ってよいアプリ:今回操作させるアプリだけを決めます。ブラウザやメールは、必要がなければ含めません。
- やってよい操作:入力や確認まではよいが、送信・削除・購入は人がやる、などです。
- 止まってほしい場面:ログインを求められた、想定と違う画面が出た、などです。
この3つは、あとでAIへの指示にそのまま使います。
有効にする手順(Copilot CLIの例)
ここではCopilot CLIを例にします。コマンドや画面は変わることがあるので、公式ドキュメントも確認してください。
-
会社のPCで使う場合は、社内のルールで使ってよいかを確認します。組織の設定で無効になっていることもあります。
-
練習用のフォルダとアプリを用意します。最初は、壊れても困らないメモ帳や表計算の新しいファイルで試します。
-
Copilot CLIを起動し、次のコマンドで画面操作を有効にします。
/computer on -
macOSの場合は、アクセシビリティと画面収録の許可を求められます。案内に従って許可します。
-
状態を確認します。
/computer show -
最初の操作のときに、Copilotがアプリの操作を許可するか聞いてきます。決めておいた「触ってよいアプリ」だけを許可します。
-
使い終わったら、次のコマンドで無効にします。
/computer off
許可したアプリは、あとから見直したりリセットしたりできます。しばらく使ったら、一度確認する習慣をつけると安心です。
頼み方の例
公式の案内では、「何をしたいか」「どのアプリを使うか」「守ってほしい制約」を伝えるとよいとされています。先ほど決めた3つを、そのまま入れます。
悪い頼み方の例です。
売上の表を整理しておいて
これでは、どのアプリを使うか、どこまでやってよいかが分かりません。AIは、ファイルを上書き保存したり、別のアプリを開いたりするかもしれません。
良い頼み方の例です。
表計算アプリで開いている「練習用_売上.xlsx」を整理してください。
やってほしいこと:B列の日付を「2026/10/05」の形にそろえる。
触ってよいアプリ:表計算アプリだけ。ほかのアプリは開かないでください。
やってはいけないこと:保存、ファイルの削除、メールの送信。
想定と違う画面が出たら、操作を止めて状況を教えてください。
終わったら、変更したセルの範囲と件数を報告してください。
このように頼むと、AIの動きは次のようになります。
- 表計算アプリの操作の許可を求める
- 画面を読み取り、B列の日付の形式を確認する
- セルを1つずつ、または範囲を選んで書き換える
- 保存はせずに止まり、「B2〜B31の30件を書き換えました」のように報告する
最後の報告があると、人が確かめる場所がはっきりします。OpenAIのモデルで問題になった「作業の報告」は、頼み方でも補えます。
うまくいったかを確かめる
AIの報告をうのみにせず、画面で確かめます。確かめ方は、作業の大きさで変えます。
- 少ない件数なら、すべて目で見る
- 多い件数なら、最初・途中・最後の数件を見る
- 保存前に、元のファイルと見比べる
問題がなければ、人が保存します。保存や送信のような戻せない操作を、最後まで人が持っておくのがコツです。
慣れてきたら
小さな作業でうまくいったら、少しずつ任せる範囲を広げます。
- 練習用のファイルから、本物のファイルのコピーに変える
- 1つのアプリから、2つのアプリの間での転記に広げる
- よく使う頼み方を、指示ファイルやプロンプトファイルにまとめる
頼み方をファイルにしておくと、毎回同じ制約を書かずに済みます。
よくある失敗
許可を「すべてのアプリ」にしてしまう
最初の確認で、深く考えずに広く許可してしまう失敗です。必要なアプリだけを許可し、あとで見直しましょう。
「いい感じに」と頼んでしまう
ゴールがあいまいだと、AIは自分で範囲を広げます。何をどこまでやるかを、具体的に書きましょう。
ログイン画面でAIに任せてしまう
パスワードの入力は、AIに任せないのが基本です。ログインを求められたら止まるように、指示に入れておきましょう。
終わったあとに確かめない
画面操作は、どこを変えたかが見えにくい作業です。報告をもらい、画面で確かめるところまでを1回の作業と考えましょう。
まとめ
computer useは、APIのないアプリまでAIに任せられる便利な機能です。その分、何を触ってよいかを人が決めることが大切になります。
- 始める前に「触ってよいアプリ」「やってよい操作」「止まってほしい場面」を決める
- 練習用のファイルで、小さく試す
- 保存や送信など、戻せない操作は人が持つ
- AIに報告させ、画面で確かめる
AIを使うこと自体は、難しくありません。任せる範囲を決めて確かめる習慣があれば、新しい機能も怖がらずに試せます。
参考
- GitHub Copilot can now interact with desktop apps with computer use(GitHub Changelog)
- OpenAI cancels release of AI model GPT-6.1 Astra, citing safety concerns(Al Jazeera)
- OpenAI cancels Astra 6.1 launch after model fails safety tests(Computing)
この記事は Zenn にも投稿しています。