概要

Laravel でヘッドレスブラウザを使用して Web スクレイピングをしたいのですが、 Selenium(php-webdriver) や php-phantomJS などより、Laravel 公式パッケージでブラウザテストの自動化およびテスティング API の Laravel Dusk を使用してWebスクレイピングできないか調べてみました。

現在の環境が PHP7.4 環境ですので、必然的にLaravel のバージョンは 8.x となります。PHP と Laravel のバージョン対応表はこちら

Laravel 8.x プロジェクトの作成

> composer create-project laravel/laravel=8.* scraping
> cd scraping

Laravel Dusk のインストール

プロジェクトに Laravel/Dusk Composer 依存パッケージを追加します。
Laravel が 8.x のため dusk 7.x 系はインストールされず、v6.25.2 がインスールされました。

> composer require --dev laravel/dusk
Cannot use laravel/dusk's latest version v7.12.3 as it requires php ^8.0 which is not satisfied by your platform.

> composer show -i | findstr dusk
You are using the deprecated option "installed". Only installed packages are shown by default now. The --all option can be used to show all packages.
laravel/dusk                       v6.25.2  Laravel Dusk provides simple end-to-end testing and browser automation.

Laravel dusk をインストールします。

> php artisan dusk:install

ChromeDriver をインストールします。

> php artisan dusk:chrome-driver
ChromeDriver binaries successfully installed for version 114.0.5735.90.

ChromeDriver サイトの更新停止

ChromeDriver のバージョン 114 がインストールされたのですが、残念ながら dusk 6.x のままでは ChromeDriver サイトの更新停止により 115 以降に更新できません。現在のクライアントの Chrome ブラウザのバージョンが 122 ですのでこのままではバージョンの不一致により ChromeDriver エラーとなり正常に動作しません。

ChromeDriver - WebDriver for Chrome - Downloads

この赤文字の情報から新たなダウンロードサイトは JSON endpoints になります。ちなみに dusk7.x はこの JSON endpoints での更新をサポートしています。

  < 115 : https://chromedriver.storage.googleapis.com/index.html
 >= 115 : https://googlechromelabs.github.io/chrome-for-testing/

dusk7.x → dusk6.x クラスの差し替え

dusk6.x 環境でもなんとか ChromeDriver を最新に上げたいなーとソースを斜め読みしながら dusk 6.x と dusk 7.x のソースと比較してみたところ ChromeDriverCommand クラスが ChromeDriver の更新処理を担っていることがわかりました。

dusk 7.x の ChromeDriverCommand クラスとこのクラスが依存する OperatingSystem クラスを dusk 6.x のクラスと差し替えます。

ChromeDriverCommand.php, OperatingSystem.php

dusk7.x → dusk6.x
  /vendor/laravel/dusk/src/Console/ChromeDriverCommand.php
  /vendor/laravel/dusk/src/OperatingSystem.php

throw 式構文のダウングレード

差し替えにあたって、dusk7.x の ChromeDriverCommand クラスは PHP7.4 では記述できなかった PHP8.0 以降の throw 式構文による Null 合体演算子で記述されているため、4 ケ所ほど以下のようにダサーく修正します。

dusk7.x - ChromeDriverCommand.php

@@ -138,2 +138,4 @@
-        return $milestones['milestones'][$version]['version']
-            ?? throw new Exception('Could not determine the ChromeDriver version.');
+        if (is_null($milestones['milestones'][$version]['version'])) {
+            throw new Exception('Could not determine the ChromeDriver version.');
+        }
+        return $milestones['milestones'][$version]['version'];

再度 ChromeDriver の更新

再度 ChromeDriver をアップデートしたところ、最新の ChromeDriver 122 にすることができました。オリジナルのソース改変はあまりやりたくないのですが、dusk6.x はもう更新されないだろうと汗。

> php artisan dusk:chrome-driver
ChromeDriver binary successfully installed for version 122.0.6261.57.

使い方

dusk6.x の ChromeDriver を使い Web スクレイピングしてみます。

Command クラスの雛型を生成します。

> php artisan make:command ScrapingCommand
Console command created successfully.

試しに Yahoo! Japan トップページの主要ニュースをスクレイピングしてみましょう！
（利用規約に該当する場合は速やかに訂正いたします。見た感じ大丈夫のようですが）

ScrapingCommand.php

<?php

namespace App\Console\Commands;

use Illuminate\Console\Command;
use Illuminate\Support\Facades\Log;
use Facebook\WebDriver\Chrome\ChromeOptions;
use Facebook\WebDriver\Remote\DesiredCapabilities;
use Facebook\WebDriver\Remote\RemoteWebDriver;
use Facebook\WebDriver\WebDriverExpectedCondition;
use Facebook\WebDriver\WebDriverBy;
use Laravel\Dusk\Chrome\ChromeProcess;
use Exception;

/**
 * ScrapingCommand class
 */
class ScrapingCommand extends Command
{
    /**
     * The name and signature of the console command.
     *
     * @var string
     */
    protected $signature = 'command:scraping';

    /**
     * The console command description.
     *
     * @var string
     */
    protected $description = 'Command description';

    /**
     * Create a new command instance.
     *
     * @return void
     */
    public function __construct()
    {
        parent::__construct();
    }

    /**
     * Execute the console command.
     *
     * @return int
     */
    public function handle()
    {
        $targetUrl = "https://www.yahoo.co.jp/";

        $process = (new ChromeProcess())->toProcess();
        try {
            if ($process->isStarted()) {
                $process->stop();
            }
            $process->start();

            $options = (new ChromeOptions())->addArguments([
                '--disable-gpu',
                '--headless',
                '--window-size=1200,1000',
                '--no-sandbox'
            ]);
            $capabilities = DesiredCapabilities::chrome()->setCapability(ChromeOptions::CAPABILITY, $options);

            $driver = retry(5, function () use ($capabilities) {
                return RemoteWebDriver::create('http://localhost:9515', $capabilities, 50000, 60000);
            }, 5000);

            // scraping start
            $driver->get($targetUrl);

            // waiting for 'footer' id load
            $driver->wait(10, 1000)->until(
                WebDriverExpectedCondition::visibilityOfElementLocated(
                    WebDriverBy::id('footer')
                )
            );

            // Yahoo! top topics
            $topics = $driver->findElements(
                WebDriverBy::cssSelector('#tabpanelTopics1 ul a')
            );
            foreach ($topics as $topic) {
                $url =  $topic->getAttribute("href");
                $title = $topic->findElement(
                    WebDriverBy::cssSelector('h1 > span')
                )->getText();

                var_dump($url . " : " . $title);
            }
        } catch (Exception $e) {
            Log::error($e->getMessage() .  "\n");
        } finally {
            $process->stop();
        }
    }
}

Laravel のコマンド実行をします。

execute

> php artisan command:scraping

string(86) "https://news.yahoo.co.jp/pickup/6492295 : 松野・高木氏ら5人 政倫審出席へ"
string(85) "https://news.yahoo.co.jp/pickup/6492279 : 1月の貿易収支 1兆7583億円の赤字"
string(88) "https://news.yahoo.co.jp/pickup/6492292 : 外務省 元徴用工訴訟巡り厳重抗議"
string(88) "https://news.yahoo.co.jp/pickup/6492294 : 西山ファーム 元副社長の身柄確保"
string(85) "https://news.yahoo.co.jp/pickup/6492290 : 榊容疑者 映画監督の立場悪用か"
string(88) "https://news.yahoo.co.jp/pickup/6492289 : 罰則ないカスハラ防止条例 効果は"
string(88) "https://news.yahoo.co.jp/pickup/6492293 : ペット死体巡り批判 市が対応変更"
string(88) "https://news.yahoo.co.jp/pickup/6492299 : 仲里依紗 激変も「今の私が自分」"

おわりに

最近はHTMLソースを見ただけではなにをやってるかわからない、ヘッドレスブラウザによるスクレイピングじゃないとNGな動的サイトが増えてきていますね。

次は Chrome DevTools Protocol(CDP) でやってみたいですね。