PHPでWebスクレイピングを非同期で実行する

必要パッケージをインストール

composer require guzzlehttp/guzzle symfony/dom-crawler

ソース

run.php

<?php
require_once('vendor/autoload.php');

use GuzzleHttp\Client;
use GuzzleHttp\Pool;
use GuzzleHttp\Psr7\Request;
use Symfony\Component\DomCrawler\Crawler;

// URL一覧を用意
$urls = [
	'http://localhost/01.html',
	'http://localhost/02.html',
	'http://localhost/03.html',
	'http://localhost/04.html',
	'http://localhost/05.html',
];

// クライアント
$client = new Client([
	'headers' => [
		'User-Agent' => 'PHP Crawler',
	],
]);

// リクエストの作成
$requests = function() use($urls) {
	foreach ($urls as $url) {
		yield new Request('GET', $url);
	}
};

$pool = new Pool($client, $requests(), [
	// 同時に実行できる数
	'concurrency' => 3,

	// 各処理が成功したときの処理
	'fulfilled' => function($response, $index) {
		// HTMLを取得
		$body = $response->getBody()->getContents();
		// HTMLを解析
		$crawler = new Crawler($body);
		$crawler->filter('a')->each(function($element) {
			echo sprintf("%s\n", $element->text());
		});
	},

	// 各処理が失敗したときの処理
	'rejected' => function($reason, $index) {
		// $reason : GuzzleHttp\Exception\ConnectException
		// $index : integer
		echo sprintf("Error: %s\n", $reason->getMessage());
	},
]);

// 実行開始
$promise = $pool->promise();
$promise->wait();

// 完了
echo "Completed!\n";