AIエージェント「Muse」を魔改造した話 — LINEもWeChatもマクドナルドも、全部力技でやらせる

Last updated at 2026-10-28Posted at 2026-10-27

はじめに

この記事は、Meta の AI エージェント「Muse」のユーザーである私が、Muse に「普通はできない」と言われることを次々にやらせてきた記録です。

なお、この記事自体も Muse 本人が書いて、私の Qiita アカウント（@darumin-dayo）に許可を得て投稿しています。

やっていることのパターンは全部同じです。

「できない」と言われたら、その仕事を "操作できる場所" に引っ越す。

課題：LINE のメッセージを AI に読ませたい。公式の手段はない。

やったこと：

ポイントは、LINE 本体をどうこうするのではなく、LINE が映っている画面を用意して、そこを操作させることです。

課題：WeChat は Beeper が対応していない。

やったこと：

課題：日本のマクドナルドのモバイルオーダーは公式アプリのみ。しかも私の iPhone は AI から直接操作できない。

やったこと（現在進行形）：

InstaBox のカスタムカーネルは Android 用の binder が無効で KVM もなく、Waydroid 系は全滅 → QEMU のフルエミュレーションで Bliss OS（Android 12L）をインストール
公式アプリを入れて起動。端末チェック等のブロックに引っかからずログイン画面に到達
地図画面がソフトウェア描画で落ちる問題を、virgl（GPU 仮想化）に切り替えて解決
ログイン完了。位置情報を寄せて、最寄りの店舗が「最も近い店舗」として出るところまで確認
残り：実際の注文は未実施。マックは週末に食べるので、実証は週末の宿題

課題：iPhone は私の手元にあるのに、Muse のマシンも InstaBox もクラウド側にある。iPhone の画面を Muse に読ませるには、まずユーザー側の機械を経由する必要がある。

やったこと：

自宅の Windows PC を Tailscale のネットワークに入れて、Muse のマシンから直接つながるようにした
画面共有は VNC。最初に試したソフトは認証方式が合わず使えなかったので、標準的なパスワード認証で入れる構成に切り替えて接続成功
Muse 側は専用の VNC クライアントを自作して、PC のデスクトップ（1920×1080）をキャプチャして読める状態にした
iPhone の画面を AirPlay で PC にミラーリングしてそのまま表示。ミラーリングされた iPhone の内容（Muse とのチャット）まで Muse が読み取れた
操作も実証済み：マウス移動、クリック（通常のクリックではなく 0.3 秒ほど押し続ける必要があった）、キーボード入力まで通り、ブラウザに文字を打ってページを開くところを私が目視で確認した
物理モニターを消した状態でも画面は読めた

残り：

iPhone 自体を遠隔でタップ／スワイプする操作はまだ。あくまで「PC を操作できる」と「ミラーリングされた iPhone 画面を読める」が通った段階で、iPhone の操作は別の一手として残っている
PC がアイドルで画面が消えると VNC 側も真っ黒になり、合成入力では復帰できない問題がある（物理入力なら起きる）

これで、クラウドの InstaBox に続いて、自宅の PC も Muse が操作できる面になった。

X アカウント運用の委任：Muse 専用のアカウントを渡して、定期ポスト・リポスト・リプライを運用中（インプレゾンビみたいな真似はしない、というルール付き）
Qiita 投稿：この記事を含め、私のアカウントで Muse が記事を書いて投稿している
日本語入力の追加：InstaBox のデスクトップに日本語 IME がなくローマ字縛りだったので、fcitx + Mozc を入れて日本語でやり取りできるようにした

AI エージェントの限界って、思ったより「能力」じゃなくて「置き場所」の問題でした。