Grok Bot は、役割を持ったエージェントを置いて作業を任せられるデスクトップアプリです。私は早期アクセス（初期のコードネームは「Sand」）参加のため、リリース前にいろいろ触ることができました。
前回は、Grok Bot がどんなアプリなのか、という入口の話を書きました。今回は、混同しやすい Computer Use の話です。
「AIが画面をクリックする」と聞くと、自分のMacを直接いじられるイメージになりがちですが、Grok Bot の場合は少し違います。
何が違うのか
Codex / ChatGPT の Computer Use は、自分の Mac や Windows を見たり操作したりする方向です。画面収録やアクセシビリティの許可が必要で、本体のアプリを相手にします。
Grok Bot の Computer Use が動かすのは、エージェント側のコンピュータです。Docker やクラウド上の Linux デスクトップで、自分の普段使いの画面そのものではありません。
| Codex 側でよくある Computer Use | Grok Bot の Computer Use | |
|---|---|---|
| 触る場所 | 自分のPC | エージェント専用のコンピュータ |
| 自分の画面 | 見られる・操作されやすい | 基本は触らない |
| ノートを閉じたとき | 続きにくいことが多い | クラウド側なら続けやすい |
名前は似ていますが、触っているマシンが違います。
エージェントのコンピュータを開いたところ。エージェントが Chrome でフライトを検索していますが、この画面は自分のMacのデスクトップには出てきません。チャットの上に、覗き窓として重なって表示されます。
もうひとつ混同しやすいのが、「エージェントのコンピュータ上の作業＝全部が画面クリック」というイメージです。実際はもう少し分かれます。
- ブラウザ作業: ページの要素を直接操作する形で進むことが多い
- デスクトップ作業: GUIアプリ、ファイルダイアログ、ドラッグ操作など、画面を見ながらのクリック／入力が要るとき
どちらも場所はエージェント側のコンピュータです。見た目の Computer Use という言葉の下に、ページ操作とデスクトップ操作が同居している、くらいに捉えると実態に近いです。
エージェントにも「自分のコンピュータ」がある
Grok Bot では、作業場所がだいたいこう分かれます。
-
エージェントのコンピュータ
ブラウザを開く、ログインが必要なサイトを見る、画面を見ながら操作する、ファイルを作る、など。Computer Use もここ。 -
自分のPC
手元のファイル、Docker、Xcode、ローカルのコマンドなど。触るときは許可が入ります。 -
クラウドのコーディングエージェント
GitHub 上の実装や PR 作成など、リポジトリ作業向け。
全部を自分のMacでやらせない、というのがポイントです。
まずエージェント側で進め、どうしても手元が必要なときだけ自分のPCに来る、という感じです。
エージェントのコンピュータが更新されているところ。バックアップ、再作成、起動と進んでいて、自分のMacとは別の作業機がエージェント側に用意されているのが分かります。
「ノートを閉じても働く」について
ここは便利な半面、少しだけ条件があります。
Grok Bot のコンピュータがクラウド側で動いているなら、自分のノートを閉じても作業を続けやすいです。Slack でも、そこが売りとして話されていました。inbox やポータル、Webページに入って進める、という用途と相性がいいです。
一方で、エージェントのコンピュータをローカル Docker で動かしている場合は別です。Docker が自分のMac依存なので、ノートを閉じたりスリープしたりすると止まりえます。
ここで言う Docker は、手元の Docker Desktop など、自分のMac側のランタイムです。Grok Bot の機能そのものではありません。
私の環境ではローカル Docker のこともありました。製品の話としてはクラウド側が前提、くらいに捉えるとよさそうです。
何が向いているか
向いているのは、APIだけでは届きにくい仕事です。
- ログインあとの管理画面
- inbox の確認や下書き
- ポータルやWebの手続き
- コネクタがないサービスの操作
「RPAを本格導入するほどではないけど、毎回手でやるのは面倒」みたいなところに入りやすいです。
あと、真面目な自動化だけじゃなく、変な使い方を試すのもありだと思います。道具の幅が見えやすくなるので。
セキュリティの話
専用コンピュータに分けている大きな理由は、隔離です。
自分の書類やキーチェーンや、日常使いのデスクトップと、エージェントの作業場を混ぜにくくできます。便利さのために本体権限を広げすぎない、という考え方です。
もちろん、パスワード入力や支払い、確認が必要な場面は残ります。全部ほったらかし、ではありません。
任せられる範囲を、少し安全側に倒して広げる、というイメージです。
まとめ
- Grok Bot の Computer Use は、基本的にエージェント専用コンピュータの操作
- 自分のMacを直接触る Codex 系の Computer Use とは違う
- エージェント側でも、ブラウザのページ操作とデスクトップ操作は分かれることが多い
- クラウド側なら、ノートを閉じても続けやすい
- inbox / portal / webpage みたいなログイン後の仕事と相性がいい
次の記事では、Realtime Translator を証明書付きで公開する作業の話を書きます。
この記事は早期アクセス時の評価に基づいたものです。正式版で変更になっている点もあるでしょうし、技術情報やヘルプもない状態だったので、正しい使い方であったのかも不明です。その前提でお読みください。