LoginSignup
0
1

More than 3 years have passed since last update.

Seleniumを使ったスクレイピング

Last updated at Posted at 2020-10-04

自動化をしたいなと思っていて、色々調べたのですが、どうやら事前に作った人がいるみたいですが、正直まだまだプログラミング初心者なので、何を書いているのかが分からない。

ということで、今回は自動化を自分でできるようにするためにseleniumを使って勉強しました。

実行環境

  • MacOS
  • python3.7.6(anaconda)
  • VSCode

今回参考にした記事

【selenium】python初心者がインスタ自動いいねツールを勝手に改修した話
【Python x Selenium】Instagramでタグ検索し、取得した写真にすべていいねできる自動化ツールを作成しました
【Python】Seleniumの使用方法メモ
Python + Selenium で Chrome の自動操作を一通り
PythonでSeleniumを使ってスクレイピング (基礎)

つまった場所

chromedriverをダウンロードしてきて、python上で使おうと思ったのですが、なんか開発元が分からないからという表示が出て使用できませんでした。

なので、今回はchromedriver_binaryを使用して、使える状態にしました。

$ pip install chromedriver-binary
import chromedriver_binary

これで使えるようになりました。

知らなかった知識のメモ

seleniumとは

seleniumとはwebアプリケーションの画面操作を自動化するためのツールです。
また、webの自動テストに用いられたり、スクレイピングに用いられたりします。

ここで、スクレイピングクローリングの違いですが、2つともweb上のデータを収集することなのですが、
スクレイピングとは処理しやすいように加工してweb上のデータを収集することで、クローリングは単にweb上のデータを収集することをいうみたいです。

まとめ

まだ、全然自動化には至っておりませんが、これから勉強して自動化を自分でできるようになりたいなと考えております。

0
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
1