LoginSignup
79
61

Seleniumが本当にバレバレなのか試してみた

Last updated at Posted at 2023-08-12

目的

以前こちらの記事にてスクレイピングはすぐにバレることを知った
本当にそうなのか試してみたくなったので、実際に試してみた

確認手順

  • 適当にWebページをつくる
  • スクレイピングをして挙動を確認する

環境構築

なんでもいいんですが、試しにReactで環境構築します

npx create-react-app check-scraping
cd check-scraping
code .
npm run start

プロジェクトを作成したらApp.jsを修正します

import React, { useEffect } from 'react';

function App() {
  useEffect(() => {
    if (window.navigator.webdriver) {
      alert("Webdriverを検出しました");
    }
  }, []);

  return (
    <div className="App">
      <h1>WebDriver検出テスト</h1>
    </div>
  );
}

export default App;

実際にスクレイピングする

Anacondaに以前使っていたソースコードが残っていたのでそちらを利用します

import time
from selenium import webdriver

driver = webdriver.Edge()

def main():
    driver.get(url="http://localhost:3000")
    time.sleep(3)
    driver.quit()

if __name__ == '__main__':
    main()

結果

ちゃんと検出してくれました

ふつーにスクレイピングしたら一瞬でバレますね
a.png

おまけ

--disable-blink-features=AutomationControlledを追加することでwindow.navigator.webdriverプロパティを無効にすることができるそうですね。
知らなかったので補足しておきます。(使用時はサイトの利用規約を守ってください)

import time
from selenium import webdriver

options = webdriver.EdgeOptions()
options.add_argument("--disable-blink-features=AutomationControlled")

driver = webdriver.Edge(options=options)

def main():
    driver.get(url="http://localhost:3000")
    time.sleep(3)
    driver.quit()

if __name__ == '__main__':
    main()
79
61
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
79
61