LoginSignup
3
2

More than 3 years have passed since last update.

MacにPython, Jupyter Notebook, BeautifulSoup4, Seleniumを用いたスクレイピング環境を構築

Posted at

新しいMacBook Proを買ったので、個人的備忘録としてPython, BeautifulSoup4関連の環境構築で参考にした記事をメモします。
きっとこの通りにやれば他のMacでもひとまず問題なくいけるはず、、

MacBookについて

OS     macOS Catalina 10.5.13
プロセッサ 2.6 GHz 6コアIntel Core i7
メモリ   16 GB 2667 MHz DDR4

目指す環境

  • Python3でBeautifulSoup4を使ってスクレイピングできる
  • Pythonのバージョン管理をできるようにしておく
  • JavaScriptで動くサイトも見れるよう、SeleniumとChrome Driverが使える

Homebrewのインストール

まっさらなPCなので、、
MacにHomebrewを導入する方法

Python, virtualenvのインストール

Virtualenvも含め、macOSにPython3及びPython仮想環境virtualenvを導入

Jupyter Notebook の環境構築

はじめるJupyter Notebook

BeautifulSoupのインストール

入門も含め、PythonとBeautiful Soupでスクレイピング

Selenium, ChromeDriverのインストール

[selenium向け] ChromeDriverをpipでインストールする方法(パス通し不要、バージョン指定可能)

最後に

本当に初心者のようなまとめを書いてしまいました。
これから、スクレイピングで収集したデータをデータベースに貯めていけるようにします、、

3
2
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
3
2