1
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

Selenium→Playwright移行でスクレイピングが安定した話

1
Last updated at Posted at 2026-11-18

はじめに

PythonのスクレイピングといえばSelenium。でも不安定なんです。

ページ読み込み待ちのタイムアウト、要素が見つからないエラー、ChromeDriverのバージョン不一致……。

Playwright に移行したら、これらの問題が劇的に解決しました。

Seleniumの辛かった点

1. ChromeDriver管理

# Selenium: ドライバーのバージョン管理が必要
from selenium import webdriver
driver = webdriver.Chrome("/path/to/chromedriver")  # バージョン不一致でエラー

2. 待機処理の複雑さ

# Selenium: 明示的待機が必要
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

wait = WebDriverWait(driver, 10)
element = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, ".price")))

3. ヘッドレスモードの検出

# Selenium: Cloudflare等に検出されやすい
driver = webdriver.Chrome(options=Options())
# → "Please enable JavaScript" 等のブロックページ

Playwright移行

導入

pip install playwright
playwright install chromium

基本的なスクレイピング

from playwright.async_api import async_playwright

async def scrape_price(url: str) -> int:
    async with async_playwright() as p:
        browser = await p.chromium.launch(headless=True)
        page = await browser.new_page()
        await page.goto(url)

        # 要素が出現するまで自動待機
        price_text = await page.locator(".price").text_content()

        await browser.close()
        return parse_price(price_text)

違い:

  • page.locator() は要素が出現するまで自動待機
  • ChromeDriver管理不要
  • ヘッドレス検出されにくい

移行で改善した点

指標 Selenium Playwright
タイムアウトエラー 月5〜10回 0回
ChromeDriver更新作業 月1回 不要
Cloudflare検出 よくある ほぼなし
スクレイピング速度 基準 1.5倍速
コード行数 基準 30%減

pw-stealth-enhanced(追加のステルス化)

Playwrightでも検出されるサイトがあります。その対策として作ったプラグイン:

// pw-stealth-enhanced — フィンガープリント対策
import { stealthEnhanced } from "pw-stealth-enhanced";

const browser = await chromium.launch();
const context = await browser.newContext();
await stealthEnhanced(context);  // ← ステルス化適用

対策内容

  • WebDriver検出の無効化
  • navigator.plugins の偽装
  • 画面解像度のランダム化
  • WebGL レンダラーの偽装

移行時の注意点

1. async/await が必須

# Selenium(同期)
driver.get(url)

# Playwright(非同期)
await page.goto(url)

既存の同期コードは asyncio.run() でラップ:

import asyncio

def sync_scrape(url):
    return asyncio.run(scrape_price(url))

2. セレクタの違い

# Selenium
driver.find_element(By.CSS_SELECTOR, ".price")

# Playwright
page.locator(".price")

3. ページ読み込みの待機

# Selenium: 明示的
WebDriverWait(driver, 10).until(...)

# Playwright: 自動
page.locator(".price").text_content()  # 出現まで自動待機

まとめ

  1. ChromeDriver管理が不要 — バージョン不一致のストレス解消
  2. 自動待機で安定 — タイムアウトエラーがゼロに
  3. 検出されにくい — ヘッドレスモードでも動作
  4. コードがシンプル — 待機処理が不要で30%削減

新規プロジェクトなら 最初からPlaywright がおすすめです。

関連記事


この記事はClaude Code(GLM-5.1)と一緒に書きました。


本記事は個人Zennでも公開しています。

1
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?