WinClaw：VNC経由でAIがWindowsデスクトップを完全操作 — あらゆるアプリをIT専門家のように使いこなす

はじめに

AIエージェントの時代において、「AIに人間のようにPCを操作させる」という目標がついに実現しました。WinClawの最新アップデートでは、VNCデスクトップストリーミングにより、AIアシスタントがWindows/Macデスクトップを完全に制御できるようになりました。

WinClawとは？

WinClawは、OpenClawベースのパーソナルAIアシスタントプラットフォームで、Windows環境に最適化されています。

主な特徴

• 🖥️ ネイティブEXEインストーラー — Docker不要、ワンクリックインストール
• 📄 Office自動化 — Word、Excel、PowerPointを直接操作
• 🔧 無限スキルシステム — 拡張可能なスキルフレームワーク
• 💬 マルチチャネル対応 — WhatsApp、Telegram、Discord等
• 🔒 完全ローカル実行 — データはクラウドに送信されません

VNCデスクトップ制御の仕組み

アーキテクチャ

TightVNC Server → websockify → noVNC (ブラウザ) → Claude Vision → AI操作

1. TightVNC Server: Windowsデスクトップ画面をキャプチャ
2. websockify: VNCプロトコルをWebSocketに変換
3. noVNC: ブラウザ内でデスクトップをレンダリング
4. Claude AI: 画面を視覚的に認識し、操作を決定
5. RFBプロトコル: マウス・キーボードイベントを送信

noVNC RFB APIの活用

WinClawはnoVNCのRFBオブジェクトに直接アクセスし、精密な制御を実現します：

// UIモジュールからRFBインスタンスを取得
const UI = await import('/app/ui.js');
const rfb = UI.default.rfb;

// キーボード操作（例：Ctrl+L でアドレスバー選択）
rfb.sendKey(0xffe3, 'ControlLeft', true);  // Ctrl押下
rfb.sendKey(0x006c, 'KeyL', true);         // L押下
rfb.sendKey(0x006c, 'KeyL', false);        // L解放
rfb.sendKey(0xffe3, 'ControlLeft', false); // Ctrl解放

// クリップボード経由でテキスト貼り付け（IME回避）
rfb.clipboardPasteFrom('https://example.com');
rfb.sendKey(0xffe3, 'ControlLeft', true);  // Ctrl+V
rfb.sendKey(0x0076, 'KeyV', true);
rfb.sendKey(0x0076, 'KeyV', false);
rfb.sendKey(0xffe3, 'ControlLeft', false);

// マウスクリック
rfb._handleMouseButton(x, y, true, 1);   // マウスダウン
rfb._handleMouseButton(x, y, false, 0);  // マウスアップ

IME問題の解決策

日本語・中国語環境では、IMEがキーボード入力を横取りする問題があります。WinClawはこれをクリップボード貼り付け方式で回避：

1. clipboardPasteFrom() でVNCクリップボードにテキストをセット
2. Ctrl+V キーイベントを送信して貼り付け

これにより、IMEの状態に関係なく正確なテキスト入力が可能です。

実用例

AIアシスタントが実際に達成したタスク：

• ✅ Chromeブラウザを操作してX(Twitter)にログイン・投稿
• ✅ アドレスバーにURLを入力してページ遷移
• ✅ ダイアログボックスの確認・操作
• ✅ 複数タブの切り替え操作
• ✅ Office文書の作成・編集

セットアップ手順

1. WinClawのインストール

# GitHubからダウンロード
https://github.com/itc-ou-shigou/winclaw

2. VNC環境の構築

# TightVNC Serverをインストール（パスワード設定）

# websockifyをインストール
pip install websockify

# websockifyブリッジを起動
websockify 6080 localhost:5900 --web /path/to/noVNC

3. ブラウザでアクセス

http://localhost:6080/vnc.html?autoconnect=1&resize=remote

他のソリューションとの比較

特性	WinClaw VNC	従来のAPI方式	RPAツール
汎用性	あらゆるアプリ	専用API必要	スクリプト必要
セットアップ	簡単	中程度	複雑
AI理解力	視覚認識	構造化データ	ルールマッチング
適応性	UI変更に自動対応	APIバージョン依存	UI変更で破綻

まとめ

VNCデスクトップ制御により、WinClawは「AI万能PCオペレーター」への重要な一歩を踏み出しました。APIに依存せず、AIが画面を見て人間のように操作する — これが次世代のAI自動化です。

リンク

• GitHub: https://github.com/itc-ou-shigou/winclaw

オープンソース・無料です。Starとコントリビューションをお待ちしています！

タグ: AI, Windows, VNC, 自動化, OpenClaw, WinClaw, noVNC