1
2

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 5 years have passed since last update.

Raspbian Busterでスクレイピング環境構築

Last updated at Posted at 2019-08-04

#■環境
Raspberry pi 3B+
Raspbian Buster(10.0 kernel 4.19.58)
Selenium 3.141.0
chromium-chromedriver 61.0.3163.79 65.0.3325.181 ※
Chromium 74.0.3729.157
python 3.7.3
pip3 18.1

~~※chromium-chromedriverは65だと動作しないとの情報だったので、こちらを使用します。
 なお、~~執筆時点のchromium-chromedriverの最新版は65.0.3325.181(2018-03-28)です。
 61では実行時にエラーがでましたが、最新版に更新したら解決しました。

#■手順

  1. Seleniumをインストールする。

pip3 install selenium

2. chromium-chromedriver(debファイル)をダウンロードする。
curl -O http://launchpadlibrarian.net/361669488/chromium-chromedriver_65.0.3325.181-0ubuntu0.14.04.1_armhf.deb

ちなみに、chromium-chromedriverの他のバージョンはこちらから確認できます。
https://launchpad.net/ubuntu/trusty/armhf/chromium-chromedriver

3. ダウンロードしたchromium-chromedriverをインストールする。
sudo dpkg -i chromium-chromedriver_65.0.3325.181-0ubuntu0.14.04.1_armhf.deb

※古いバージョンがインストールされている場合もこれで上書きできます。

#■動作確認
VNC等でラズパイにアクセスし、以下のスクリプトを実行すると、Chromiumが起動し、指定のページが開きます。(このソースではMSNが開く)

scrape.py
#! /usr/bin/env python3
# -*- coding: utf-8 -*-

import sys
sys.path.append('/home/pi/.local/lib/python3.7/site-packages/') #使用中のPythonのバージョンに合わせて編集してください。
from selenium import webdriver

browser = webdriver.Chrome(executable_path="/usr/lib/chromium-browser/chromedriver")
browser.get('https://www.msn.com/')

python3 scrape.py

#■参考
https://qiita.com/Brutus/items/7381a13fa395f9b73855
https://qiita.com/tamanobi/items/60e4f427f7651f275567

1
2
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
2

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?