Help us understand the problem. What is going on with this article?

Raspberry Piによるスクレイピング 環境構築(Selenium + Chromiumドライバ)

More than 1 year has passed since last update.

はじめに

本記事は、Raspberry PiにSelenium + Chromiumドライバのスクレイピング環境を構築するための記事です。

静的なhtmlコンテンツを取得するurllibは、JavaScriptなどの動的なページに対応していません。そこで、SeleniumでWebブラウザを操作することで、動的なページに対するスクレイピングができます。また、Seleniumは、Google Chrome、Firefox、IE、Opera等複数のWebブラウザに対応しています。

環境

Raspberry Pi(※1) + Selenium + Chromium

Linux用のChromeドライバだと、プラットフォームが違うので対応していないため、Chromiumドライバを使用します。Chromiumドライバはこちらよりダウンロード可能です。

なお、最新のChromiumドライバのchromium-chromedriver 65(※2)では動作しないため、古いバージョンであるchromium-chromedriver 61をインストールします。

(※1)Raspbian GNU/Linux 9.3 (stretch)
(※2)本記事執筆時点

構築手順

  1. Seleniumをインストールする
    $ pip3 install selenium

  2. Seleniumのインストール確認
    $ pip3 list | grep selenium

  3. debパッケージをインストールする
    $ sudo dpkg -i chromium-chromedriver_61.0.3163.79-0ubuntu0.14.04.1196_armhf.deb

  4. Chromiumドライバのインストール確認
    $ ls -l /usr/lib/chromium-browser/chromedriver

動作確認

  • 動作確認プログラム
#! /usr/bin/env python3
# -*- coding: utf-8 -*-

import sys
sys.path.append('/home/pi/.local/lib/python3.5/site-packages/')
from selenium import webdriver

browser = webdriver.Chrome(executable_path="/usr/lib/chromium-browser/chromedriver")
browser.get('https://www.google.com/')
  • 動作確認 スクリーンショット 2018-08-30 00.09.44.png

Raspberry PiにVNCでログインしてプログラムを実行すると、Webブラウザ(Chrome)が起動し指定したページを開きます。

Brutus
DevOpsとAIの二刀流を目指すLinuxエンジニア。Python、RaspberryPi、Linux、Docker、k8s、セキュリティ、Oracle Cloud、Terraform、Ansible等について発信しています。登壇、執筆等ありましたらTwitterよりメッセージお願いします。
https://brutus.ml/
gauss
株式会社GAUSSは、AIソフトウェアを組み込んだサーバの提供、AIサービス構築のコンサルティング、AIのエンジニア育成をセットにしてサービス提供を展開するスタートアップ企業です。
https://gauss-ai.jp/
Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Comments
No comments
Sign up for free and join this conversation.
If you already have a Qiita account
Why do not you register as a user and use Qiita more conveniently?
You need to log in to use this function. Qiita can be used more conveniently after logging in.
You seem to be reading articles frequently this month. Qiita can be used more conveniently after logging in.
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
ユーザーは見つかりませんでした