2
2

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

純Rust製のAIエージェント向けブラウザを作ったら、Chromiumの約1/7のメモリで動いた

2
Posted at

AIエージェントにWebページを読ませたり、開発中のアプリを操作させたりするとき、現在はChromiumをPlaywrightやCDP経由で動かす方法が一般的です。

もちろんChromiumは非常に高機能です。しかし、AIエージェントが短時間だけドキュメントを読み、ボタンを押し、結果を確認するために、タブ、拡張機能、動画、WebGL、ブラウザプロファイルなどを備えた巨大なブラウザを毎回起動する必要があるのでしょうか。

そこで、AIエージェント向けの軽量ブラウザ h5i-browser-light を作りました。このブラウザは、エージェント向けサンドボックスおよび、マルチエージェント向けを安全に協調させるための掲示板などを開発している h5i プロジェクトの一部として開発されています (おかげさまで、GitHubのスターが500を超えました!)。

h5i-browser-lightはV8やChromiumには依存せず、HTML/CSSの描画からJavaScript実行までRust製のコンポーネントで構成されています。実世界のウェブページを使った比較では、ピークメモリ使用量はChromiumの約1/7.4になりました。

TL;DR

  • Chromium/V8を使わない、AIエージェント向けの純Rust製ブラウザ
  • ページの読み取り、スクリーンショット、クリック、入力、フォーム送信、限定的なJavaScript実行に対応
  • 実世界コーパスでは、ピークメモリがChromiumの約13.5%(約1/7.4)
  • すべての通信を送信前にポリシーチェックし、リクエストの記録を残す

「人間向けブラウザ」をそのまま使う必要はあるのか

Chromiumは、人間が一日中使うブラウザとして設計されています。

  • 複数のタブやウィンドウ
  • 拡張機能
  • パスワード管理やプロファイル同期
  • 動画・音声
  • WebGL / WebGPU
  • GPUプロセス
  • 永続的なCookie、履歴、キャッシュ
  • 滑らかなアニメーションやスクロール

一方、コーディングエージェントが必要とする処理は、もっと限定的です。

  • ドキュメントや検索結果を読む
  • ローカルの開発サーバーを開く
  • ボタンをクリックする
  • フォームに入力する
  • DOMの変化を確認する
  • 必要な情報だけを構造化して取り出す
  • どの操作がどの通信を発生させたか記録する

この用途では、Web全体との完全な互換性よりも、メモリ消費、起動コスト、観測可能性、通信の監視などが重要になる場合があります。そのため、h5i-browser-lightでは、エージェントがよく使うWebの一部に用途を絞り、その範囲を安く、安全に、機械から扱いやすくするブラウザになることを目指しました。

ブラウザスタックもJavaScriptエンジンもRust製

このプロジェクトでは、Rustのブラウザ関連プロジェクトを組み合わせ、その上にエージェント向けの操作・通信・記録レイヤーを実装しています。

担当 コンポーネント
HTML解析・DOM Blitz (blitz-html, blitz-dom)
CSS Stylo
レイアウト Taffy
描画 blitz-paint, vello_cpu
テキスト・フォント Parley, Fontique
JavaScript Boa
HTTP、通信ポリシー、操作API、記録 h5i-browser-light

JavaScriptにはV8ではなく、Rust製ECMAScriptエンジンのBoaを使っています。Boa上のJavaScriptオブジェクトは、Blitzが管理するDOMノードをNodeId経由で参照します。

HTML → Blitz DOM → Stylo/Taffy → Paint → Screenshot
          ↑
          └── NodeId ── Boa (JavaScript)

ただし、Boaは現時点ではV8のような多段JITを備えていないため、Chromiumに比べるとJavascriptの実行速度は遅くなりがちです。

Chromiumに比べて、メモリ消費量を80%以上削減

h5i-browser-lightが本当に役に立つか・効率的であるかを比較するために、Chromiumとh5i-browser-lightの両方に同じ仕事をさせました。

  1. 新しいブラウザプロセスを起動する
  2. ページを取得する
  3. 対応するJavaScriptを実行する
  4. エージェントが読める形にページをシリアライズする
  5. 終了する

Chromiumはマルチプロセスなので、親プロセスだけではなく、renderer、GPU、zygoteなどを含むプロセスツリー全体のピークRSSを測定しています。実世界のWebアプリケーション20件を使ったコーパスでは、次の結果になりました。

指標 h5i-browser-lightとChromiumの比較
ピークメモリ Chromiumの約13.5%(約1/7.4、約86.5%削減)
バイナリサイズ 8.9倍小さい
Wall-clock time h5i-browser-lightが約30%遅い
読み取り結果 h5i-browser-lightは20件中19件を読み取り、1件は読み取り失敗。Chromiumは20件すべてを読み取り

ただし、Chromiumとh5i-browser-lightでは、対応するWebプラットフォームの範囲が異なります。また、この測定はページごとに新しいプロセスを起動する、使い捨てのエージェント処理を想定しています。長時間起動したChromiumで複数タブを使い回せば、ページあたりの起動コストは小さくなる可能性はあります。

通信履歴の監視・保存

通常、Chromiumの通信はCDPや外部プロキシから観測します。しかし、ブラウザの外側からの観測には、アタッチ前に発生した通信、新しく生成されたtargetやworker、接続断などによる取りこぼしの可能性があります。またHTTPSプロキシから見える情報がCONNECT example.com:443まで、という場合もあります。

h5i-browser-lightでは、ブラウザエンジン自身がHTTPクライアントであるため、ドキュメント、JavaScript、CSS、画像、フォント、fetch()、リダイレクトなどを全て同じように監視することが簡単にできます。

ページ操作
   ↓
リクエスト要求
   ↓
ポリシーチェック → 記録を作成 → 送信

エージェントが扱いやすい出力

人間向けブラウザは、最終的にピクセルを表示します。しかし、エージェントにとって毎回スクリーンショットを画像認識するのは高コストです。そこでh5i-browser-lightでは、ページを用途に応じて複数の形で読み出せます。

# 操作可能な要素に@refを付けたスナップショット
h5i-browser-light session snapshot

# 本文、リスト、表などをMarkdownとして取得
h5i-browser-light session markdown

# CSS selectorを使い、必要な項目だけJSONとして抽出
h5i-browser-light session extract \
  '{"rows":[{"selector":"tr.item","fields":{"name":".title","url":{"selector":"a","attr":"href"}}}]}'

使用例

ブラウザのみをインストールする場合は、次のコマンドでコンパイル済みバイナリをインストールできます。

curl -fsSL https://h5i.dev/install.sh | sh -s -- --browser-only

h5i-browser-light skill install
h5i-browser-light doctor

リモートのページは、アクセスを許可するoriginを明示して起動します。

h5i-browser-light serve https://docs.rs/ --allow docs.rs &

h5i-browser-light session snapshot
h5i-browser-light session markdown
h5i-browser-light session requests

ローカルの開発サーバーはloopbackとしてデフォルトで許可されます。

h5i-browser-light serve http://localhost:3000 --script &
h5i-browser-light session snapshot
h5i-browser-light session click @e1

JavaScriptは限定的なpreviewであり、デフォルトでは無効になっているので、必要な場合は--scriptを付けて実行してください。

まとめ

AIエージェント用のブラウザに必要なのは、必ずしも「人間向けブラウザの全機能」ではありません。

h5i-browser-lightでは、Chromium/V8を使わず、Rust製のブラウザスタックとBoaで、ページの読み取り・操作・限定的なJavaScript実行を実装しました。互換性を意図的に絞った結果、実世界コーパスではChromiumの約1/7.4のピークメモリで動作しました。また、h5i-browser-lightでは、エージェントがどのように通信を行ったかを全て監視・記録できるため、プロンプトインジェクションなどによるインシデントの防止・調査がより容易に行えます。

ただ、まだ未対応のWebの機能などが多く残されているため、実装、ベンチマーク、実世界コーパス、Web API bindingなどへのフィードバックやコントリビューションをめちゃめちゃ歓迎しています!

2
2
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
2
2

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?