Pythonでスクレイピング
スクレイピングとは
インターネット上にある、HTMLをはじめとするさまざまなコンテンツを取得すること
（車のフロントガラスに積もった雪をこそげ落とすイメージ？）
ざっくりやってみる事
- HTMLを取得してみる
- 連続で取得してみる
- HTMLを解析してみる
HTMLを取得する
-
Requestsというライブラリを使ってやってみる - 取得するコンテンツに日本語等マルチバイト文字を含んでいる場合、文字化けしてしまうので呪文を唱える
$ pip install requests
sample.py
import requests
# とりあえずgoogleのトップに殴り込む
url = 'https://www.google.com/?hl=ja'
response = requests.get(url) # ここまでだと文字化けの可能性が
response.encoding = response.apparent_encoding # 呪文
print(response.text) # textに入ってくる
encodingプロパティーでサーバーからのレスポンスの文字エンコーディングを指定できる
ここで指定したapparent_encodingはレスポンスの内容から文字エンコーディングを教えてくれるもので、こいつをencodingプロパティーに指定する事で無敵モードになれる
<!doctype html>
<html itemscope="" itemtype="http://schema.org/WebPage" lang="ja">
<head>
<meta content="世界中のあらゆる情報を検索するためのツールを提供しています。さまざまな検索機能を活用して、お探しの情報を見つけてください。" name="description">
...(割愛)...
※本当は１行で返ってきますが見やすいように体裁整えています
（結果を見た感想：googleトップってドシンプル、でもscriptがんがん仕込まれててなんかすごっ）
ちなみにHTML以外も
インターネット上のコンテンツであればcsv、画像、動画の取得等も可能
csv_sample.py
import requests
# フロリダ州立大学が後悔していたサンプルCSV URL以外は同じ
url = 'https://people.sc.fsu.edu/~jburkardt/data/csv/addresses.csv'
response = requests.get(url)
response.encoding = response.apparent_encoding
print(response.text)
連続で行っちゃう
特に変わったことはしない、一目瞭然
sample.py
import time
import requests
# 取得したいURL
url_html = "https://www.google.com/?hl=ja"
url_csv = "https://people.sc.fsu.edu/~jburkardt/data/csv/addresses.csv"
# HTMLの取得と表示
response = requests.get(url_html)
response.encoding = response.apparent_encoding
print(response.text)
# 1秒スリープ
time.sleep(1)
# CSVの取得と表示
response = requests.get(url_csv)
response.encoding = response.apparent_encoding
print(response.text)
ただ２回やってるだけ
実際は取得に行くところはメソッドに切り出して引数だけでできるようにするのかな？ まあいいや。
time.sleep(1)
今回は例としての記述だが、同じサイトに何度もリクエストする場合は、相手にご迷惑にならないように間隔あけるのがマナーって死んだトノサマバッタが言ってた
HTMLを解析する
-
BeautifulSoupというライブラリを使う（名前イケすぎてる・・・） - aタグのテキストとリンク先URLを抜いてみる
$ pip install bs4
sample.py
import requests
from bs4 import BeautifulSoup
url = "https://www.yahoo.co.jp/"
response = requests.get(url)
response.encoding = response.apparent_encoding
bs = BeautifulSoup(response.text, 'html.parser')
a_tag = bs.find('a') # １つ目に見つかったやつ
# nobr_tag = bs.find_all('nobr') # 全部
# nobr_tag = bs.find_all('div', class_='item') # なんか条件指定できたりする classは予約語
# div_item_list = bs.select('div.item-list') # セレクタで指定
print(a_tag.text)
print(a_tag['href']) # a_tag内のhref属性にアクセス
html.parser以外は別途公式ドキュメント等で調べる
ここまでやってから知った
Python - Scrapyを使ってクローラーを作る
RequestsとかBeautifulSoupとかより便利で実用的なやつあるやんか！
感想
スクレイピングするだけならあっという間にできますね。
この取ってきたデータをどう保存して、どう活用するか、DeepLearningにかけるかとかを考えるわけか。