Playwrightを使ったWeb自動化をJSONだけで実現する方法

このツールの使い方は、動画を見た方が分かりやすいと思います。

Githubはこちら
https://github.com/sinzy0925/web-runner_powerd_by_playwright

はじめに

私はPlaywrightを使ったスクレイピングアプリを何本も作ってきましたが、Playwright初心者の方にとっては学習曲線が急なこともありますね。
そこで「日常的に行っているPlaywright操作をもっと簡単に実行できるツールがあれば...」と思い、Web-Runnerを開発しました。

Web-Runnerは、Playwrightの力を借りつつ、JSONだけでブラウザ操作を自動化できるツールです。コードを書かなくても、JSONで指示を与えるだけで、Webの自動操作が可能になります。

なぜWeb-Runnerを作ったのか？

Playwrightは強力なツールですが、以下のような課題を感じていました：

定型的なコードを何度も書くのが面倒
初心者には設定の難しさがある
スクレイピングのためだけに複雑なコードを書くのは非効率
Web-Runnerは、Playwrightの複雑さを隠しながら、その強力な機能を活用できるように設計されています。

Web-Runnerの特長

シンプルなワークフローで高度な自動化を実現
サンプル

{
  "target_url": "https://example.com",
  "actions": [
    {
      "action": "input",
      "selector": "#search",
      "value": "Playwright"
    },
    {
      "action": "click",
      "selector": "button[type='submit']"
    },
    {
      "action": "get_text_content",
      "selector": "h1"
    }
  ]
}

たったこれだけのJSONで、Webサイトにアクセス、検索ボックスに入力、ボタンクリック、そして結果の取得ができます！
サンプルは、ダウンロードした、jsonフォルダに入ってます。

python main.py --input duckduckgo2.json --slowmo 1000

ですぐに動きます。
（事前インストールも必要です。）

視覚的なJSON生成ツール付き
コマンドを手書きするのも面倒...そんな方のために、付属のjson_generator.htmlを使えば、UIからポチポチと操作するだけでJSONを自動生成できます。
幅広いブラウザ操作をサポート
クリック、テキスト入力、ホバー、ドロップダウン選択、スクロール、要素/ページロード待機、スクリーンショット取得
データ抽出も簡単
サンプル

{
  "action": "get_attribute",
  "selector": "a.product-link",
  "attribute": "href"
}

テキスト抽出はもちろん、属性の取得も簡単です。さらに、href属性を取得する際は自動的に相対URLを絶対URLに変換してくれます。

iframeも自動対応
iframe内の要素操作が必要な場合も、Web-Runnerは自動的にiframeスコープを検出。多くの場合、特別な命令なしでネストされたフレーム内の要素も操作できます。
PDF内のテキスト抽出も対応
PDFリンクを検出すると、自動的にファイルをダウンロードしてテキスト抽出を行います。Web上のPDFデータも簡単に取得可能です。
非同期処理でスピーディな実行
asyncioを使用して構築されているため、ネットワーク操作やPDFダウンロードなどを効率的に並行処理します。
デバッグも簡単
詳細なログを提供し、エラー発生時には自動的にスクリーンショットを保存するため、問題解決が容易です。

こんな方におすすめ

Webスクレイピングを始めたいけど、コードを書くのが苦手な方
定型的なブラウザ操作を自動化したいエンジニア
PDFを含むWebデータから情報を収集したいデータアナリスト
QAテストを効率化したいテストエンジニア
Playwrightを使いたいけど学習コストを抑えたい方

使い方

インストール方法
リポジトリのクローン

git clone https://github.com/sinzy0925/web-runner_powerd_by_playwright.git
cd web-runner_powerd_by_playwright

依存ライブラリのインストール

pip install -r requirements.txt

もしくは直接インストール

pip install playwright PyMuPDF

Playwrightのブラウザをインストール

playwright install

実行方法

JSONファイルを作成（またはjson_generator.htmlを使用）
以下のコマンドで実行

python main.py --input input.json

オプション：

--headless: ブラウザを表示せずに実行
--slowmo 500: 動作確認用。実行速度を遅く（ミリ秒指定）

実際の使用例

例えば、Qiitaのトレンド記事を取得するタスクは以下のようになります：
使える例です。

{
  "target_url": "https://qiita.com/",
  "actions": [
    {
      "action": "get_all_text_contents",
      "selector": "article h2 a"
    }
  ]
}

これだけで、Qiitaのトレンド記事タイトルが取得できます。
githubに、qiita.jsonがありますので、

python main.py --input qiita.json --slowmo 1000

で実行してみてください。
終わると、main.pyと同じディレクトリに、output_results.txt　と　output_web_runner.log　ができるので、ご確認ください。

まとめ

Web-Runnerは、Playwrightの強力な機能をJSONという簡単なインターフェースで利用できるようにした、Web自動化のためのツールです。コードを書く必要がなく、JSON設定ファイルだけでブラウザ操作を自動化できるため、プログラミングの知識が少ない方でも利用しやすくなっています。

ぜひお試しいただき、フィードバックをいただければ幸いです。また、このツールがPlaywrightの普及の一助となり、より多くの人がWeb自動化の恩恵を受けられることを願っています。

依存関係

Playwright
PyMuPDF (fitz)

ライセンス

このプロジェクトはMITライセンスの下で提供されています。詳細はLICENSEファイルをご覧ください。

足りない機能や、バグもたくさんありそうです。
いろいろ教えてください。

この記事が皆さんのWeb自動化作業の助けになれば嬉しいです。質問やフィードバックがあれば、コメントでお知らせください！