0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

@kai_kou(甲斐 甲)

MolmoWeb入門 — スクリーンショットだけでWebを操作するオープンソースAIエージェント

0
Last updated at Posted at 2026-03-26

MolmoWebの概要 — スクリーンショットだけでブラウザを操作するAIエージェント

はじめに

Webブラウザの操作を自動化するAIエージェントは、2026年に入って急速に進化している。Anthropicの Computer Use、OpenAIの CUA（Computer-Using Agent）、Googleの Project Mariner など、主要プロバイダーがプロプライエタリな実装を提供する一方で、オープンソースの選択肢は限られていた。

2026年3月24日、AI研究機関 Allen Institute for AI（Ai2） が MolmoWeb を公開した。HTMLやアクセシビリティツリーを解析せず、スクリーンショットだけでブラウザを操作するオープンソースのビジュアルWebエージェントで、モデル重み・訓練データ・コードのすべてが Apache 2.0ライセンス で公開されている。

この記事で学べること

  • MolmoWebのアーキテクチャと動作原理
  • 主要ベンチマークでの性能とプロプライエタリモデルとの比較
  • ローカル環境でのセットアップとPython APIの使い方
  • 商用・研究利用の判断に必要なライセンスと制約

対象読者

  • ブラウザ自動化やRPA（Robotic Process Automation）に関心があるエンジニア
  • オープンソースのAIエージェントを評価・導入したい開発者
  • Claude Computer UseやOpenAI CUAとの比較を検討している方

TL;DR

  • MolmoWebは スクリーンショットのみ でブラウザを操作する4B/8BパラメータのビジュアルWebエージェント
  • WebVoyager ベンチマークで 78.2% を達成し、GPT-4oベースのエージェントを上回る（公式ブログ）
  • モデル重み・訓練データ（36K人間デモ + 59万サブタスク）・コードすべてが Apache 2.0 で公開
  • Python APIで数行のコードからブラウザタスクを実行可能

MolmoWebの知覚-行動ループ

MolmoWebのアーキテクチャ

スクリーンショットベースの知覚-行動ループ

MolmoWebは Molmo 2マルチモーダルモデルファミリー をベースに構築されたビジョン言語モデルで、以下のシンプルなループで動作する。

  1. タスク指示の受信: 自然言語でタスクを記述する（例: 「arxiv.orgでMolmoの論文を検索して」）
  2. スクリーンショットの取得: 現在のブラウザ画面をキャプチャする
  3. 推論と行動予測: スクリーンショットとタスク指示から次のアクションを自然言語で推論する
  4. ブラウザアクションの実行: クリック座標、テキスト入力、スクロール、タブ操作などを実行する
  5. ループの継続: タスク完了まで2〜4を繰り返す

このアプローチの特徴は、HTMLの解析やDOMツリーへのアクセスを一切行わない点にある。HTMLベースのアプローチではページ構造の変更で壊れやすく、DOMを入力に含めると数万トークンを消費するが、スクリーンショットベースならページのリデザインに対して頑健で、入力トークンも一定に保てる。

モデルバリアント

HuggingFace で公開されているモデルは4種類ある。

モデル パラメータ数 フォーマット 用途
MolmoWeb-8B 80億 HuggingFace Transformers互換 最高精度
MolmoWeb-4B 40億 HuggingFace Transformers互換 軽量・高速
MolmoWeb-8B-Native 80億 Molmoネイティブ 独自推論パイプライン
MolmoWeb-4B-Native 40億 Molmoネイティブ 独自推論パイプライン

HuggingFace Transformers互換モデルは既存のtransformersパイプラインにそのまま組み込める。Nativeモデルはolmo/molmo互換のチェックポイント形式で、Ai2独自の推論スタックで動作する。

サポートするブラウザアクション

MolmoWebがサポートするアクションは以下の通りである（GitHub README）。

  • URL遷移: 指定URLへのナビゲーション
  • クリック: 正規化座標を使ったピクセル精度のクリック
  • テキスト入力: フォームフィールドへの文字入力
  • スクロール: ページのスクロール操作
  • タブ操作: 新規タブのオープン、タブ間の切り替え
  • メッセージ送信: ユーザーへの結果報告

訓練データ: MolmoWebMix

MolmoWebMixデータセットの構成

MolmoWebの訓練に使用された MolmoWebMix データセットは、3つのソースから構成されている（公式ブログ）。

1. 人間のデモンストレーション

36,000件の人間タスク軌跡 が収録されており、公開済みのWebエージェント訓練データとしては最大規模である。1,100以上のWebサイトにわたる 623,000件の個別サブタスクデモ を含む。

2. 合成軌跡

テキストベースのアクセシビリティツリーエージェントとマルチエージェントパイプラインから生成された合成データ。プロプライエタリなビジョンエージェントからの蒸留（distillation）は行っていない点が重要で、訓練データの透明性が確保されている。

3. GUI知覚データ

約400のWebサイトから収集された 220万件以上の質問応答ペア で、要素のグラウンディング（画面上の位置特定）とスクリーンショットQAをカバーする。

ベンチマーク性能

主要ベンチマーク結果

MolmoWeb 8Bモデルのベンチマーク結果を以下に示す（公式ブログ）。

ベンチマーク MolmoWeb 8B 説明
WebVoyager 78.2% 15の人気Webサイトでのタスク完了率
DeepShop 42.3% Amazon上の複雑なショッピングタスク
WebTailBench 49.5% 指示追従の信頼性評価
Online-Mind2Web 35.3%（single） 136サイト横断タスク（pass@4で60.5%）

テスト時スケーリングの効果

MolmoWebはテスト時スケーリング（複数回のロールアウト）で大幅な性能向上が可能である（公式ブログ）。

ベンチマーク single rollout pass@4
WebVoyager 78.2% 94.7%
Online-Mind2Web 35.3% 60.5%

4回の試行で最良の結果を採用するpass@4では、WebVoyagerで94.7%に到達する。本番システムでリトライロジックを組み込むことで、実効的な成功率を大幅に引き上げられることを示唆している。

プロプライエタリモデルとの比較

公式ブログ および SiliconANGLE の報道によると、MolmoWeb 8Bはアノテーション付きスクリーンショットや構造化ページデータを使用するGPT-4oベースのエージェントを複数のベンチマークで上回っている。ScreenSpot v2ベンチマーク（ビジュアルグラウンディング特化）では、MolmoWebの訓練データで学習した専用8Bグラウンディングモデルが Claude 3.7 やOpenAI CUAを上回る性能を示した。

ただし、Anthropic・Google・OpenAIの最新プロプライエタリエージェントは多くのタスクでMolmoWebを依然として上回っている点には注意が必要である。MolmoWebの意義は、8Bパラメータという比較的小規模なモデルでプロプライエタリモデルに迫る性能を実現し、その全構成要素をオープンソースで公開した点にある。

MolmoWeb 8Bのベンチマーク性能

セットアップと使い方

環境構築

MolmoWebはPython 3.10以上が必要で、パッケージ管理には uv を使用する（GitHub README）。

# uvのインストール
curl -LsSf https://astral.sh/uv/install.sh | sh

# リポジトリのクローンとセットアップ
git clone git@github.com:allenai/molmoweb.git
cd molmoweb
uv venv
uv sync

# Playwrightブラウザのインストール
uv run playwright install
uv run playwright install --with-deps chromium

モデル重みのダウンロード

# デフォルト: MolmoWeb-8B-Native
bash scripts/download_weights.sh

# 軽量版: MolmoWeb-4B-Native
bash scripts/download_weights.sh allenai/MolmoWeb-4B-Native

推論サーバーの起動

# サーバー起動（デフォルトでhttp://127.0.0.1:8001）
bash scripts/start_server.sh ./checkpoints/MolmoWeb-8B

# 環境変数による設定も可能
export CKPT="./checkpoints/MolmoWeb-4B-Native"
export PREDICTOR_TYPE="native"
export NUM_PREDICTORS=1
bash scripts/start_server.sh

サーバーが起動すると POST /predict エンドポイントが利用可能になる。

Python APIによるタスク実行

MolmoWebのPython APIは直感的なインターフェースを提供する（GitHub README）。

基本的なタスク実行

from inference import MolmoWeb

client = MolmoWeb(
    endpoint="http://127.0.0.1:8001",
    local=True,    # True: ローカルChromium, False: Browserbaseクラウド
    headless=True,  # ヘッドレスモードで実行
)

# タスクの実行
query = "Go to arxiv.org and find the paper about Molmo and Pixmo"
traj = client.run(query=query, max_steps=10)

# 結果をHTMLファイルとして保存
output_path = traj.save_html(query=query)
print(f"Saved to {output_path}")

フォローアップ対話

# 前のタスクの続きを実行
followup = "Find the full author list"
traj2 = client.continue_run(query=followup, max_steps=10)

バッチ処理

queries = [
    "Find latest papers on allenai.org",
    "Search 'OLMo' on Wikipedia",
    "What is the weather in Seattle today?",
]

# 並列実行（max_workersで同時実行数を制御）
trajectories = client.run_batch(
    queries=queries,
    max_steps=10,
    max_workers=3,
)

低レベルAPI: スクリーンショットからの推論

import base64
import requests

with open("screenshot.png", "rb") as f:
    image_b64 = base64.b64encode(f.read()).decode()

resp = requests.post("http://127.0.0.1:8001/predict", json={
    "prompt": "What are the job titles listed on this page?",
    "image_base64": image_b64,
})
print(resp.json())

推論バックエンドの選択

MolmoWebは複数の推論バックエンドに対応している（GitHub README）。

バックエンド 説明 用途
fastapi リモートHTTPエンドポイント 標準的なサーバーデプロイ
modal サーバーレスデプロイ クラウドネイティブ運用
native molmo/olmo互換チェックポイント Ai2推論スタック
hf HuggingFace Transformers互換 既存パイプラインへの統合

vLLMサポートは今後追加される予定である。

安全性とセキュリティ

MolmoWebは安全性に関していくつかの制約を設けている（公式ブログ）。

ホストされたデモの制約:

  • ホワイトリスト制のWebサイトアクセスのみ許可
  • Google Cloud NLPによるクエリフィルタリング
  • パスワードフィールドやクレジットカード入力欄でのアクション遮断
  • ログインや金融取引を伴うタスクでは訓練されていない

本番利用の注意点:

ローカルデプロイ時にはこれらの制約が適用されないため、本番環境でWebエージェントを運用する場合は独自の安全性レイヤーを実装する必要がある。特に以下に注意が求められる。

  • エージェントがアクセス可能なURLのホワイトリスト管理
  • 認証情報を扱うフォームへのアクション制限
  • 決済・送金に関わる操作の人間承認フロー

競合との位置づけ

特性 MolmoWeb Claude Computer Use OpenAI CUA
モデルサイズ 4B / 8B 非公開 非公開
ライセンス Apache 2.0 プロプライエタリ プロプライエタリ
入力方式 スクリーンショットのみ スクリーンショット スクリーンショット + 構造化データ
訓練データ公開 あり（36K軌跡 + 220万QA） なし なし
セルフホスト 可能 API経由のみ API経由のみ
WebVoyager 78.2% 非公開 非公開
総合性能 オープンソース最高水準 最高水準 最高水準

MolmoWebの最大の強みは、モデル重み・訓練データ・評価ツール・推論コードのすべてがApache 2.0で公開されている点にある。プロプライエタリなAPIに依存せず、自社インフラでWebエージェントを運用したいケースや、訓練データの透明性が求められる規制産業での利用に適している。

まとめ

  • MolmoWebはAi2が公開した スクリーンショットベースのオープンソースWebエージェント で、4B/8Bの2サイズが Apache 2.0ライセンス で利用可能
  • WebVoyagerベンチマークで 78.2%（pass@4で94.7%）を達成し、GPT-4oベースのエージェントを上回る性能を示した
  • MolmoWebMix として36K人間デモ・220万QAペアの訓練データもすべて公開されており、再現性と透明性が確保されている
  • プロプライエタリな最新エージェントには総合性能で及ばないものの、オープンソースWebエージェントとしては現時点で最高水準
  • セルフホスト可能なため、APIコストの削減、データ主権の確保、カスタマイズの自由度が求められるユースケースに適している

今後、vLLMサポートの追加や評価・訓練コードの完全公開が予定されており、コミュニティによるモデルの改善や特化ドメインへのファインチューニングが加速することが期待される。

参考リンク

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?