LLMでPCを操作！？Claudeの新機能「computer use」を早速試してみた

はじめに

本日AnthropicがClaude3.5SonnetのアップデートとClaude3.5Haikuの発表(今月末リリース予定)、そして突如として現れた「computer use」をパブリックベータ版として公開しました。

はじめは「ふむふむ、モデルの性能が向上したのね」とベッドに潜りながら眺めていたのですが、見慣れない単語に気付き早速試してみようと跳ね起きました。

computer useとは

クロードが個々のタスクを完了するのを支援するための特定のツールを作成するのではなく、一般的なコンピューター スキルを教えることで、人間向けに設計されたさまざまな標準ツールやソフトウェア プログラムを使用できるようにします。

最新バージョンの Claude 3.5 Sonnet は、適切なソフトウェア セットアップを実行すると、ユーザーのコマンドに従ってコンピューターの画面上でカーソルを移動したり、関連する場所をクリックしたり、仮想キーボードで情報を入力したりすることができ、ユーザーが自分のコンピューターを操作する方法をエミュレートします。

このリリース文を読むにLLM×RPA的なものなのかなという印象を受けましたが、「computer use」は事前に操作方法を記録しなくともLLMが推論してアクションを実行してくれるという嬉しみも加わったと考えるべきなのかなと感じました。

クイックスタートを試す

クイックスタートのリポジトリが同時に公開されていたのでこちらを早速試します。Anthropic本家のAPI、Bedrock、Vertexそれぞれで動かす方法が記載されています。執筆時点では最新のClaude3.5がまだBedrockで使えなさそうだったので一旦本家APIを使って検証しました。

■ クイックスタートリポジトリ

リポジトリをクローンして以下を実行

export ANTHROPIC_API_KEY=%your_api_key%
docker run \
    -e ANTHROPIC_API_KEY=$ANTHROPIC_API_KEY \
    -v $HOME/.anthropic:/home/computeruse/.anthropic \
    -p 5900:5900 \
    -p 8501:8501 \
    -p 6080:6080 \
    -p 8080:8080 \
    -it ghcr.io/anthropics/anthropic-quickstarts:computer-use-demo-latest

http://localhost:8080/にアクセスすると以下のような画面が表示されます。チャット欄に「東京の天気を検索して」と入力して実行してみました。

実行結果

仮想環境上のFirefoxが起動して全自動で東京の天気を調べてくれました…！！これはちょっと本当に凄いぞ…！

次はAmazonで共著の「Bedrock生成AIアプリ開発入門」本を注文できそうか試してみました。

流石に途中で止めましたが、実際にログインして必要情報の入力を指示すれば最後までやってくれそうな印象です。

おわりに

サクッとまずはクイックスタートの「computer use」デモを試してみました。パブリックベータということもあり、まだまだ扱いにくいものらしく、可能な操作も限られているようです。温かい目でこれからの進化を楽しみにしたいですね！

現段階ではまだ実験段階であり、扱いにくく、エラーが発生しやすい場合があります。開発者からのフィードバックを得るためにコンピューターの使用を早期にリリースしており、時間の経過とともに機能が急速に改善されることを期待しています。

また、Xを漁ってたらReplit Agentとcomputer useを組み合わせたが面白いユースケースのポストをしていたので共有です。

朝確認したらBedrockやVertexでも対応してました！