0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

AIに画面操作を任せる前に:computer useを安全に始める手順

0
Posted at

AIに「この画面のボタンを押して、表に入力しておいて」と頼めるようになってきました。GitHub Copilotでも、デスクトップアプリを操作する「computer use」がプレビューで使えるようになりました。

便利な反面、AIがマウスとキーボードを持つことになります。この記事では、初めて使う人向けに、安全に始める手順をまとめます。

computer useとは

computer useは、AIが画面を見て、人と同じようにアプリを操作する仕組みです。画面を読み取り、クリック、文字入力、スクロールなどをします。

これまでのエージェントは、ファイルの読み書きやコマンドの実行が中心でした。エージェントの基本は、会話型AIしか使ったことがない人へで書いています。

computer useでは、APIやコマンドがないアプリも操作できます。たとえば、次のような作業です。

  • 古い業務ソフトに、表のデータを1件ずつ入力する
  • 設定画面を開いて、決まった項目を確認する
  • 2つのアプリの画面を見比べて、違いを書き出す

なぜ「任せる範囲」が大事なのか

今週、OpenAIが新しいモデルの公開を取りやめたと発表しました。報道によると、理由の1つは「任された範囲と権限」の基準を満たさなかったことです。

AIは、頼まれていないことまで「気を利かせて」やってしまうことがあります。ファイルの編集なら、差分を見れば戻せます。しかし画面操作では、送信ボタンや削除ボタンを押した結果は、戻せないことがあります。

そこで大事になるのが、AIに持たせる道具と権限の設計です。これは「ハーネス」と呼ばれる考え方の一部です。詳しくはAIの実力はモデルだけでは決まらないで書いています。

始める前に決めておく3つのこと

画面操作を試す前に、次の3つを紙やメモに書き出しておきます。

  1. 触ってよいアプリ:今回操作させるアプリだけを決めます。ブラウザやメールは、必要がなければ含めません。
  2. やってよい操作:入力や確認まではよいが、送信・削除・購入は人がやる、などです。
  3. 止まってほしい場面:ログインを求められた、想定と違う画面が出た、などです。

この3つは、あとでAIへの指示にそのまま使います。

有効にする手順(Copilot CLIの例)

ここではCopilot CLIを例にします。コマンドや画面は変わることがあるので、公式ドキュメントも確認してください。

  1. 会社のPCで使う場合は、社内のルールで使ってよいかを確認します。組織の設定で無効になっていることもあります。

  2. 練習用のフォルダとアプリを用意します。最初は、壊れても困らないメモ帳や表計算の新しいファイルで試します。

  3. Copilot CLIを起動し、次のコマンドで画面操作を有効にします。

    /computer on
    
  4. macOSの場合は、アクセシビリティと画面収録の許可を求められます。案内に従って許可します。

  5. 状態を確認します。

    /computer show
    
  6. 最初の操作のときに、Copilotがアプリの操作を許可するか聞いてきます。決めておいた「触ってよいアプリ」だけを許可します。

  7. 使い終わったら、次のコマンドで無効にします。

    /computer off
    

許可したアプリは、あとから見直したりリセットしたりできます。しばらく使ったら、一度確認する習慣をつけると安心です。

頼み方の例

公式の案内では、「何をしたいか」「どのアプリを使うか」「守ってほしい制約」を伝えるとよいとされています。先ほど決めた3つを、そのまま入れます。

悪い頼み方の例です。

売上の表を整理しておいて

これでは、どのアプリを使うか、どこまでやってよいかが分かりません。AIは、ファイルを上書き保存したり、別のアプリを開いたりするかもしれません。

良い頼み方の例です。

表計算アプリで開いている「練習用_売上.xlsx」を整理してください。
やってほしいこと:B列の日付を「2026/10/05」の形にそろえる。
触ってよいアプリ:表計算アプリだけ。ほかのアプリは開かないでください。
やってはいけないこと:保存、ファイルの削除、メールの送信。
想定と違う画面が出たら、操作を止めて状況を教えてください。
終わったら、変更したセルの範囲と件数を報告してください。

このように頼むと、AIの動きは次のようになります。

  1. 表計算アプリの操作の許可を求める
  2. 画面を読み取り、B列の日付の形式を確認する
  3. セルを1つずつ、または範囲を選んで書き換える
  4. 保存はせずに止まり、「B2〜B31の30件を書き換えました」のように報告する

最後の報告があると、人が確かめる場所がはっきりします。OpenAIのモデルで問題になった「作業の報告」は、頼み方でも補えます。

うまくいったかを確かめる

AIの報告をうのみにせず、画面で確かめます。確かめ方は、作業の大きさで変えます。

  • 少ない件数なら、すべて目で見る
  • 多い件数なら、最初・途中・最後の数件を見る
  • 保存前に、元のファイルと見比べる

問題がなければ、人が保存します。保存や送信のような戻せない操作を、最後まで人が持っておくのがコツです。

慣れてきたら

小さな作業でうまくいったら、少しずつ任せる範囲を広げます。

  1. 練習用のファイルから、本物のファイルのコピーに変える
  2. 1つのアプリから、2つのアプリの間での転記に広げる
  3. よく使う頼み方を、指示ファイルやプロンプトファイルにまとめる

頼み方をファイルにしておくと、毎回同じ制約を書かずに済みます。

よくある失敗

許可を「すべてのアプリ」にしてしまう

最初の確認で、深く考えずに広く許可してしまう失敗です。必要なアプリだけを許可し、あとで見直しましょう。

「いい感じに」と頼んでしまう

ゴールがあいまいだと、AIは自分で範囲を広げます。何をどこまでやるかを、具体的に書きましょう。

ログイン画面でAIに任せてしまう

パスワードの入力は、AIに任せないのが基本です。ログインを求められたら止まるように、指示に入れておきましょう。

終わったあとに確かめない

画面操作は、どこを変えたかが見えにくい作業です。報告をもらい、画面で確かめるところまでを1回の作業と考えましょう。

まとめ

computer useは、APIのないアプリまでAIに任せられる便利な機能です。その分、何を触ってよいかを人が決めることが大切になります。

  • 始める前に「触ってよいアプリ」「やってよい操作」「止まってほしい場面」を決める
  • 練習用のファイルで、小さく試す
  • 保存や送信など、戻せない操作は人が持つ
  • AIに報告させ、画面で確かめる

AIを使うこと自体は、難しくありません。任せる範囲を決めて確かめる習慣があれば、新しい機能も怖がらずに試せます。

参考


この記事は Zenn にも投稿しています。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?