はじめに
PythonのスクレイピングといえばSelenium。でも不安定なんです。
ページ読み込み待ちのタイムアウト、要素が見つからないエラー、ChromeDriverのバージョン不一致……。
Playwright に移行したら、これらの問題が劇的に解決しました。
Seleniumの辛かった点
1. ChromeDriver管理
# Selenium: ドライバーのバージョン管理が必要
from selenium import webdriver
driver = webdriver.Chrome("/path/to/chromedriver") # バージョン不一致でエラー
2. 待機処理の複雑さ
# Selenium: 明示的待機が必要
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
wait = WebDriverWait(driver, 10)
element = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, ".price")))
3. ヘッドレスモードの検出
# Selenium: Cloudflare等に検出されやすい
driver = webdriver.Chrome(options=Options())
# → "Please enable JavaScript" 等のブロックページ
Playwright移行
導入
pip install playwright
playwright install chromium
基本的なスクレイピング
from playwright.async_api import async_playwright
async def scrape_price(url: str) -> int:
async with async_playwright() as p:
browser = await p.chromium.launch(headless=True)
page = await browser.new_page()
await page.goto(url)
# 要素が出現するまで自動待機
price_text = await page.locator(".price").text_content()
await browser.close()
return parse_price(price_text)
違い:
-
page.locator()は要素が出現するまで自動待機 - ChromeDriver管理不要
- ヘッドレス検出されにくい
移行で改善した点
| 指標 | Selenium | Playwright |
|---|---|---|
| タイムアウトエラー | 月5〜10回 | 0回 |
| ChromeDriver更新作業 | 月1回 | 不要 |
| Cloudflare検出 | よくある | ほぼなし |
| スクレイピング速度 | 基準 | 1.5倍速 |
| コード行数 | 基準 | 30%減 |
pw-stealth-enhanced(追加のステルス化)
Playwrightでも検出されるサイトがあります。その対策として作ったプラグイン:
// pw-stealth-enhanced — フィンガープリント対策
import { stealthEnhanced } from "pw-stealth-enhanced";
const browser = await chromium.launch();
const context = await browser.newContext();
await stealthEnhanced(context); // ← ステルス化適用
対策内容
- WebDriver検出の無効化
- navigator.plugins の偽装
- 画面解像度のランダム化
- WebGL レンダラーの偽装
移行時の注意点
1. async/await が必須
# Selenium(同期)
driver.get(url)
# Playwright(非同期)
await page.goto(url)
既存の同期コードは asyncio.run() でラップ:
import asyncio
def sync_scrape(url):
return asyncio.run(scrape_price(url))
2. セレクタの違い
# Selenium
driver.find_element(By.CSS_SELECTOR, ".price")
# Playwright
page.locator(".price")
3. ページ読み込みの待機
# Selenium: 明示的
WebDriverWait(driver, 10).until(...)
# Playwright: 自動
page.locator(".price").text_content() # 出現まで自動待機
まとめ
- ChromeDriver管理が不要 — バージョン不一致のストレス解消
- 自動待機で安定 — タイムアウトエラーがゼロに
- 検出されにくい — ヘッドレスモードでも動作
- コードがシンプル — 待機処理が不要で30%削減
新規プロジェクトなら 最初からPlaywright がおすすめです。
関連記事
- Flask物販管理を一人で構築した全記録 — スクレイピングを活用する物販管理プロダクト
- テストカバレッジ0%→76%の道のり — Playwrightテスト導入の基礎
- Context Engineering入門 — 47KBの正体と対策 — ツール選定の判断基準
この記事はClaude Code(GLM-5.1)と一緒に書きました。
本記事は個人Zennでも公開しています。