PageSift は、極限のパフォーマンスを追求する Rust 製クローラーとして始まりました。今では Web 収集、ドキュメント解析、構造化抽出、AI Agent 向けインターフェースまでを担うコンテンツエンジンになっています。1.2 では新しいエンジンを追加しました。
GitHub: https://github.com/YOLOW92/pagesift
1.2：ITNA アクセス障壁リカバリエンジン
- HTTP リクエストがブロックされた場合、ブラウザでのリトライにエスカレーションすべきかを判断
- TLS/HTTP2 ブラウザフィンガープリントが HTTP / HTTPS / SOCKS5 プロキシに対応
- セッションアイデンティティプール：Cookie・出口・フィンガープリントを関連付けて管理し、ユーザーごとに分離
- HTTP → ブラウザへのセッション状態の安全な引き継ぎ
- ブラウザ自動化マーカーの最適化と、非対話型 JS チャレンジへの待機対応
- 共有リクエスト予算で、リトライ回数・タイムアウト・リソース消費を制限
デフォルトは無効で、必要に応じて有効化します。対話型 CAPTCHA は解きませんし、あらゆるボット対策の回避を保証するものでもありません。
紹介できていなかった 1.1 シリーズ
- 大量のファイル形式を追加：旧 Office、ODF、WordPerfect、電子書籍、メール、アーカイブ、データベースなど
- 373 種類のソースコード言語を識別し、主要言語では関数・クラスなどの構造を抽出
- Go、Java、C#、Ruby、PHP、Lua、Swift、Zig などの言語バインディングと、LangChain / LlamaIndex 連携を追加
1.1 実測値：
- PDF → Markdown：2.4ms/ページ
- HTML → Markdown：0.24ms/ページ
- 本文抽出：1.0ms/ページ
- Office 解析：91.7 ファイル/秒（xberg の約 3.40 倍）
1.1.1〜1.1.3：Rust の低レイヤーを掘り続ける
Zstandard の圧縮・展開を純 Rust で自前実装しました。FSE、Huffman、LZ マッチング、キャッシュを意識したハッシュチェーンまで、すべて自作です。
現在の状況
GitHub で 200 Stars を突破しました。開発と保守は今も一人で行っています。
目指しているのは、ただ速いクローラーではなく、高性能・低リソース・セルフホスト可能な AI データ基盤です。
完全オープンソースです。テスト、Issue、技術的な議論を歓迎します。