古いシステムの転記作業を、AIに任せる｜画面を見て操作するAIが変える業務自動化の新しい形

本記事は、株式会社DnD（https://dnd-inc.jp）のコラムを一部編集して掲載しています。
初出: https://dnd-inc.jp/blog/ai-computer-use-legacy-automation.html

「このシステム、APIもないし改修もできないけど、入力作業だけは毎日発生する」——中小企業にはそういう悩みが多くあります。そこで注目されているのが、AIが画面を直接見て操作する「Computer Use」という技術です。既存のシステムをそのままに、転記や入力の繰り返し作業をAIに任せられる可能性があります。仕組みと実践の考え方を整理します。

この記事の要点

• AIが画面を見てマウス・キーボードを操作する「Computer Use」は、APIや改修なしで既存システムを自動化できる。
• 従来のRPAより柔軟で、ある程度のUI変更にも対応できる点が大きな違い。
• セキュリティ確認と作業の限定から始め、スモールスタートで効果を確かめるのが鉄則。

「このシステム、つなげません」という壁

業務を自動化しようとすると、よく出てくる壁があります。**「このシステムはAPIに対応していない」「ベンダーに改修を頼むと数十万円かかる」「クラウド化も当分は無理」**というものです。
販売管理ソフト、在庫管理システム、勤怠ソフト——こうした既存システムは中小企業の業務を支えていますが、外部から自動操作しにくい設計になっていることが少なくありません。結果として、「システムAで確認した内容をシステムBに手で入力する」転記作業が毎日発生し続けます。
この問題に対して、2026年現在注目されている解決策の一つが、**AIが画面を直接操作する技術「Computer Use」**です。

Computer Useとは何か

Computer Use（コンピュータ使用）とは、AIがスクリーンショットを取得して「今何が画面に表示されているか」を判断し、マウスのクリックやキーボード入力、スクロールといった操作を実行する仕組みです。人間が画面を見て操作するのと同じことを、AIが代わりに行います。
代表的なのは、Anthropicが提供するClaude（クロード）のComputer Use機能です。2026年3月に正式リリースされ、Claude ProやMaxプランのClaude Cowork、およびClaude Codeから利用できるようになっています。OpenAIもOperatorという同様の機能を展開しており、画面操作AIは複数の選択肢が出そろいつつあります。
重要なのは、対象システムに特別な設定が不要という点です。AIは人間と同じようにウィンドウを見て操作するため、APIを持たない古いソフトウェアにも原理上は対応できます。

従来のRPAと何が違うのか

「それRPAと同じでは？」と思われる方も多いでしょう。確かに「PCの操作を自動化する」という目的は共通していますが、仕組みに大きな違いがあります。

• 従来のRPA：ボタンの座標・要素名などを事前にプログラムで指定する。画面レイアウトが変わると止まる。例外処理は人が追加コーディングする必要がある。
• Computer Use（AI画面操作）：毎回スクリーンショットを撮って状況を判断するため、ある程度のUI変更に追従できる。「もしエラーが出たら〇〇して」のような例外指示を自然言語で伝えられる。
  つまり、RPAは「厳密な手順書通りにしか動かないロボット」、Computer Useは「状況を見ながら判断できるアシスタント」に近いイメージです。複雑な判断や例外が多い作業では、この差が大きくなります。
  ただし、Computer Useも万能ではありません。処理速度はRPAより遅い傾向があり、1ステップごとにAIが画面を解釈するため、大量データの高速処理よりも「判断を伴う中量の繰り返し作業」に向いています。

中小企業で使いやすい3つの場面

どのような作業にComputer Useが向いているか、中小企業で実際に起こりがちな場面を3つ挙げます。

① 受注データの転記

ECサイトやメール・FAXで受けた注文情報を、社内の販売管理ソフトに手入力している——よくある光景です。Computer Useなら、AIがメールやPDFの内容を読み取り、販売管理ソフトの入力画面を操作してデータを入力するフローを自動化できます。API連携不可のレガシーソフトでも対応できるのが強みです。

② 複数システム間のデータ移動

在庫システムで確認した数字をExcelに転記し、そのExcelを会計ソフトに入力する——のような「手作業のリレー」もComputer Useが得意とする領域です。AIが一連の操作手順を担い、人間は最後の確認だけを行う形にできます。

③ Webサイトからの定期的な情報収集

競合他社の価格や求人情報、官公庁のPDFなど、APIが存在しないWebページから定期的に情報を収集する作業にも有効です。AIが対象サイトをブラウズし、必要な情報を抽出してスプレッドシートに記録する形で自動化できます。

始める前に確認したい3つのポイント

Computer Useの導入を検討する際は、以下の3点を事前に整理することをお勧めします。

① 画面に映る情報の機密度を確認する

Computer Useは、AIが操作のたびに画面のスクリーンショットを撮影します。その画像はAIモデルの処理に使われるため、画面に個人情報・顧客情報・財務情報が表示される場合はリスクを慎重に評価する必要があります。Anthropic社はClaudeのComputer Use利用時に画面データを保持しないとしていますが、社内セキュリティポリシーや情報管理規定との照合は必須です。機密度が高い情報を扱う業務では、ローカルLLM（社内サーバーで動かすAI）との組み合わせも選択肢になります。

② 自動化する作業の手順を明文化する

AIへの指示は「自然言語」で行いますが、手順が曖昧だと正確に動きません。「どの画面で」「何を確認して」「どこに入力するか」を言語化してみることが、作業のムダを見直す機会にもなります。手順を明文化できない作業はそもそも自動化しにくく、そのステップで立ち止まることも重要な気づきです。

③ 最初は確認ステップを挟んでスモールスタートする

Computer Useは精度が高まっているとはいえ、100%正確ではありません。最初の段階では「AIが操作→人間が結果を確認→問題なければ次へ」というチェックポイントを設けるのが安全です。慣れてきたら確認頻度を減らし、徐々に自律度を上げていく段階的な進め方がトラブルを防ぎます。

誰向けの技術か——導入しやすい組織の特徴

Computer Useがとくに効果を発揮しやすい組織の特徴を整理すると、次のようになります。

• 社内にAPIを持たないレガシーシステムが残っており、毎月一定時間の転記・入力作業が発生している。
• システム改修や新しいSaaS導入のコストをかけにくい。
• 作業手順がある程度決まっていて、ドキュメント化できる。
• 担当者が変わっても手順を引き継げる形にしたい。
  逆に、リアルタイムで大量データを高速処理する必要がある、または画面操作が極めて複雑で例外も多い場合は、専用のRPAツールやシステム連携を設計する方が効率的なこともあります。まずは「これをComputer Useで置き換えられないか」と試す感覚から始めるのがよいでしょう。

よくある質問

Computer UseはどのAIツールで使えますか？

AnthropicのClaudeが代表的です。Claude ProやMax プランのClaude Cowork、またはClaude Code（CLI・IDE拡張）から利用できます。2026年時点でOpenAIのOperatorも同様の画面操作機能を提供しています。

従来のRPAと何が違うのですか？

従来のRPAはUI要素の座標や名前を事前にプログラムで指定するため、画面のレイアウトが変わると動かなくなることがあります。Computer Useは毎回スクリーンショットを取得してAIが状況を判断しながら操作するため、ある程度のUI変更にも対応できます。また、例外処理や判断を伴う作業を自然言語で指示できる点も異なります。

セキュリティ面で懸念はありますか？

Computer UseはAIがスクリーンショットを見て操作するため、画面上の情報がAIモデルに送信されます。機密度の高い情報を扱う場合は、操作範囲の限定・ローカルLLMの活用・社内セキュリティポリシーとの照合が必要です。

どのような作業が自動化に向いていますか？

定型的な転記・コピー＆ペースト、Webフォームへの繰り返し入力、複数ウィンドウ間でのデータ移動など、手順がある程度決まっていて繰り返し発生する作業が向いています。一方、リアルタイムで秒単位の処理速度が求められる作業や、極めて複雑な判断を要する操作は、精度や速度の面で苦手です。

---

この記事は株式会社DnD（業務効率化・DXパートナー）が運営するコラムの転載です。
▶ 初出・全文: https://dnd-inc.jp/blog/ai-computer-use-legacy-automation.html
▶ お問い合わせ: https://dnd-inc.jp/contact.html