More than 3 years have passed since last update.

Seleniumを使ったスクレイピング

Last updated at 2020-10-04Posted at 2020-10-04

自動化をしたいなと思っていて、色々調べたのですが、どうやら事前に作った人がいるみたいですが、正直まだまだプログラミング初心者なので、何を書いているのかが分からない。

ということで、今回は自動化を自分でできるようにするためにseleniumを使って勉強しました。

実行環境

chromedriverをダウンロードしてきて、python上で使おうと思ったのですが、なんか開発元が分からないからという表示が出て使用できませんでした。

なので、今回はchromedriver_binaryを使用して、使える状態にしました。

$ pip install chromedriver-binary
import chromedriver_binary

これで使えるようになりました。

seleniumとはwebアプリケーションの画面操作を自動化するためのツールです。
また、webの自動テストに用いられたり、スクレイピングに用いられたりします。

ここで、スクレイピングとクローリングの違いですが、2つともweb上のデータを収集することなのですが、
スクレイピングとは処理しやすいように加工してweb上のデータを収集することで、クローリングは単にweb上のデータを収集することをいうみたいです。

まだ、全然自動化には至っておりませんが、これから勉強して自動化を自分でできるようになりたいなと考えております。