はじめに

2024年10月23日に Computer Use という機能が発表されたのでちょっと試してみました。

Computer Use とは？

Claude can now use computers. The latest version of Claude 3.5 Sonnet can, when run through the appropriate software setup, follow a user’s commands to move a cursor around their computer’s screen, click on relevant locations, and input information via a virtual keyboard, emulating the way people interact with their own computer.

最新バージョンの Claude 3.5 Sonnet は、適切なソフトウェアセットアップを実行すると、ユーザーのコマンドに従ってコンピューターの画面上でカーソルを移動したり、関連する場所をクリックしたり、仮想キーボードで情報を入力したりすることができ、ユーザーが自分のコンピューターを操作する方法をエミュレートします。

つまり、 Claude 3.5 Sonnet で新たに実装された機能で、プロンプトを入力するとその指示に従って Claude がコンピューターを操作してくれる機能みたいです。

前提

今回行う実行する PC 環境は Mac です。
また、以下については事前に対応済みの状態で実施します。

docker インストール
Anthropic API Key の取得
クレジットのチャージ

事前準備

Computer Use を試すにあたり Anthropic 社が用意しているクイックスタートを利用します。

docker の起動

準備は簡単でリポジトリをクローンして docker を起動するだけです。

gitクローン

% git clone https://github.com/anthropics/anthropic-quickstarts.git
Cloning into 'anthropic-quickstarts'...
remote: Enumerating objects: 389, done.
remote: Counting objects: 100% (387/387), done.
remote: Compressing objects: 100% (231/231), done.
remote: Total 389 (delta 169), reused 318 (delta 129), pack-reused 2 (from 1)
Receiving objects: 100% (389/389), 3.07 MiB | 1.69 MiB/s, done.
Resolving deltas: 100% (169/169), done.

ディレクトリ移動

% cd anthropic-quickstarts/computer-use-demo

docker を起動する際に %your_api_key% の部分は各自取得した API キーに置き換えて実行してください。

docker起動

export ANTHROPIC_API_KEY=%your_api_key%
docker run \
    -e ANTHROPIC_API_KEY=$ANTHROPIC_API_KEY \
    -v $HOME/.anthropic:/home/computeruse/.anthropic \
    -p 5900:5900 \
    -p 8501:8501 \
    -p 6080:6080 \
    -p 8080:8080 \
    -it ghcr.io/anthropics/anthropic-quickstarts:computer-use-demo-latest
Xvfb started successfully on display :1
Xvfb PID: 9
starting tint2 on display :1 ...
starting mutter
starting vnc
PORT=5900
starting noVNC
noVNC started successfully
✨ Computer Use Demo is ready!
➡️  Open http://localhost:8080 in your browser to begin

docker へアクセス

docker を起動させると ➡️ Open http://localhost:8080 in your browser to begin というレスポンスが返ってくるのでアクセスします。
今回の利用ブラウザは Chrome です。
それでは Computer Use を試していこうと思います。

試してみる

今回、ブラウザを起動して Amazon サイトの閲覧 と、　git コマンドのインストール を試してみました。

Amazon サイトの閲覧

アクセスすると以下のようなデスクトップの画面が表示されるので、左下にある Type a message to send to Claud to control the computer... と表示されているボックスにプロンプトを入力します。

ここでは 「Amazonのページを開いてください。」 と入力してみます。

するとメッセージを受けた Claude からの返答があり操作を始めます。

ちなみに、赤い四角に人の顔マークのアイコン はこちらで入力した内容を 黄色の四角にロボットマークのアイコン が Claude の返答内容になります。

Claude がステップごとに説明しながら操作してくれました。

今度は開いたブラウザを閉じてもらいます。

無事にブラウザが閉じられたことを確認できました。

git コマンドのインストール

今度は git コマンドのインストールをお願いしてみます。

キャプチャだと右端が途切れてしまうためログを一応記載しておきます。

gitインストール

Hit:1 http://ports.ubuntu.com/ubuntu-ports jammy InRelease
Get:2 http://ports.ubuntu.com/ubuntu-ports jammy-updates InRelease [128 kB]
Hit:3 https://ppa.launchpadcontent.net/mozillateam/ppa/ubuntu jammy InRelease
Get:4 http://ports.ubuntu.com/ubuntu-ports jammy-backports InRelease [127 kB]
Get:5 http://ports.ubuntu.com/ubuntu-ports jammy-security InRelease [129 kB]
Get:6 http://ports.ubuntu.com/ubuntu-ports jammy-updates/universe arm64 Packages [1396 kB]
Get:7 http://ports.ubuntu.com/ubuntu-ports jammy-updates/main arm64 Packages [2327 kB]
Get:8 http://ports.ubuntu.com/ubuntu-ports jammy-updates/restricted arm64 Packages [2563 kB]
Get:9 http://ports.ubuntu.com/ubuntu-ports jammy-updates/multiverse arm64 Packages [29.5 kB]
Get:10 http://ports.ubuntu.com/ubuntu-ports jammy-security/restricted arm64 Packages [2491 kB]
Get:11 http://ports.ubuntu.com/ubuntu-ports jammy-security/universe arm64 Packages [1113 kB]
Get:12 http://ports.ubuntu.com/ubuntu-ports jammy-security/main arm64 Packages [2057 kB]
Fetched 12.4 MB in 6s (2213 kB/s)
Reading package lists...
Building dependency tree...
Reading state information...
All packages are up to date.
Reading package lists...
Building dependency tree...
Reading state information...
git is already the newest version (1:2.34.1-1ubuntu1.11).
0 upgraded, 0 newly installed, 0 to remove and 0 not upgraded.

また、

WARNING: apt does not have a stable CLI interface. Use with caution in scripts.

WARNING: apt does not have a stable CLI interface. Use with caution in scripts.

という警告も出ていますが、これは apt コマンドに対するエラーで apt コマンドのCLIインターフェイスは安定していないので、スクリプト内で使用する場合は注意してください。 という内容になります。
apt をスクリプト内で使用したり、docker コンテナ内で利用すると発生する場合があるそうです。

インストールがちゃんとされているかまで確認してくれました。

おわりに

プロンプトを入力するだけで操作してくれるのはとても便利です。
この機能によってこれから色んな可能性が広がって行きそうな感じがしました。

参考