概要
スクレイピングをする必要があったので,Debianで実行しようと検索すると,UbuntuでChromeを使う記事が多く,Debianで実行するための記事が少なかったのと,せっかくパッケージで利用できるのにわざわざChromeをインストールする内容が多かったので,参考までにまとめます.
# 実際はまとめる必要もないほど簡単なんですが..
必要なパッケージのインストール
apt install chromium-driver python3-selenium
これでchromiumを含め必要なパッケージがインストールされます.
Seleniumの利用
これは色々なページで紹介されているので,そちらを参考にしてください.
Proxy環境での利用
Proxy環境で利用する場合,proxyの情報を設定する必要があります.
python3-seleniumでインストールされるのはSelenium4なので,以下の設定が必要になります.
- http_proxy
- https_proxy
- no_proxy
特にno_proxy=localhost, 127.0.0.1, ::1
を設定しておかないと,(seleniumが利用する?)ローカルホストへの通信もproxy経由になってエラーになります.これらを環境変数で設定してもよいですが,ソース内部で
os.environ["https_proxy"] = "http://proxy.xxx.xxx:8080"
os.environ["no_proxy"] = "localhost,127.0.0.1,::1"
などとするのがよさそう.