3
2

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 3 years have passed since last update.

MacにPython, Jupyter Notebook, BeautifulSoup4, Seleniumを用いたスクレイピング環境を構築

Posted at

新しいMacBook Proを買ったので、個人的備忘録としてPython, BeautifulSoup4関連の環境構築で参考にした記事をメモします。
きっとこの通りにやれば他のMacでもひとまず問題なくいけるはず、、

MacBookについて

OS     macOS Catalina 10.5.13
プロセッサ 2.6 GHz 6コアIntel Core i7
メモリ   16 GB 2667 MHz DDR4

目指す環境

  • Python3でBeautifulSoup4を使ってスクレイピングできる
  • Pythonのバージョン管理をできるようにしておく
  • JavaScriptで動くサイトも見れるよう、SeleniumとChrome Driverが使える

Homebrewのインストール

まっさらなPCなので、、
MacにHomebrewを導入する方法

##Python, virtualenvのインストール
Virtualenvも含め、macOSにPython3及びPython仮想環境virtualenvを導入

##Jupyter Notebook の環境構築
はじめるJupyter Notebook

##BeautifulSoupのインストール
入門も含め、PythonとBeautiful Soupでスクレイピング

##Selenium, ChromeDriverのインストール
[selenium向け] ChromeDriverをpipでインストールする方法(パス通し不要、バージョン指定可能)

#最後に
本当に初心者のようなまとめを書いてしまいました。
これから、スクレイピングで収集したデータをデータベースに貯めていけるようにします、、

3
2
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
3
2

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?