Webページをスクレイピングしたい!
必要なもの
- Pythonのrequestsライブラリ
- BeautifulSoup4
上記2つがなければあらかじめインストールしておきましょう。
Pythonのrequestsライブラリとは
- このライブラリでウェブページをダウンロード可能。
- ウェブサーバーに対してGETリクエストを出す (HTMLコンテンツをダウンロード)
リクエストを走らせると、Responseオブジェクトが来ます。このオブジェクトはstatus_codeプロパティを持ち、ウェブページがきちんとダウンロードされたかどうかを判断するのです。
scraping_test.py
from bs4 import BeautifulSoup
import requests
page = requests.get("http://dataquestio.github.io/web-scraping-pages/simple.html")
print(page.status_code)
この時点での$ python scraping_test.py実行結果
200となりました。status_codeが200ということは、ダウンロード成功です。
content プロパティを使えばHTMLコンテンツを表示します。
scraping_test.py
from bs4 import BeautifulSoup
import requests
page = requests.get("http://dataquestio.github.io/web-scraping-pages/simple.html")
# print(page.status_code)
print(page.content)
この時点での$ python scraping_test.py実行結果
b'<!DOCTYPE html>\n<html>\n <head>\n <title>A simple example page</title>\n </head>\n <body>\n <p>Here is some simple content for this page.</p>\n </body>\n</html>'
ここまでrequestsライブラリの説明をしました。このライブラリのプロパティとしてはstatus_codeとcontentを覚えておきましょう。
BeautifulSoupライブラリとは
取得したHTMLドキュメントを解析し、テキストを抽出するライブラリです。
ドキュメントを解析するためにBeautifulSoupクラスのインスタンスを作成します。
HTMLパーサー: HTMLのテキストや特定タグの内容を抽出。python標準のhtml.parserでOK。
prettify()メソッド: ソースコードを見やすく表示
scraping_test.py
soup = BeautifulSoup(page.content, 'html.parser')
print(soup.prettify())
参考ページ: dataquest