【え、簡単すぎ...!?】pythonで簡単にスクレイピング をしてみたメモ

環境構築

いつも通りこれで環境構築完了する。

requests

htmlを取得する目的

pip install requests

でrequests使えるようにする

import requests
url="https://qiita.com/1000ch/items/93841f76ea52551b6a97"
r = requests.get(url)

こんな感じでrequest.getの引数に取得するurlをいれる

BeautifulSoup

requestsで取得したhtmlを加工して扱えるようにする目的

一つ目の要素を取得する

import requests 
from bs4 import BeautifulSoup　#追加
url="https://qiita.com/1000ch/items/93841f76ea52551b6a97"
r = requests.get(url)
#print(r.text)
soup = BeautifulSoup(r.text, "html.parser")　#追加 
result = soup.find("h2").text　#追加
print(result)

6行目の"html.parser"を抜くと

scraping.py:6: GuessedAtParserWarning: No parser was explicitly specified, so I'm using the best available HTML parser for this system ("html.parser"). This usually isn't a problem, but if you run this code on another system, or in a different virtual environment, it may use a different parser and behave differently.

て言われます。簡単に言うと
「htmlパーサを選択してないから私が一番合ってそうな"html.parser"にしておいたよ。私だからいいけど他の環境だったら違うの選んでおかしいことになるかもだょ.....」
なので念のため"html.parser"はいれておく

r.text→html取得
soup.h2.text→h2だけだとタグとかも含まれるのでtextにする。allないから最初だけ

任意の要素の取得

find_all('h2').text→✖︎
見てみるとリストなので

result = soup.find_all("h2")[0]

このように.textだった部分にインデックス番号を表記することで任意の要素が取得できる

これではタグも含まれているため.textを書きたいがエラーになるから

for i, h2_tag in enumerate(soup.find_all('h2')): 
    print(i,h2_tag.text)

これで任意の要素のテキストのみを出力できる

クラスを指定して要素を取得する

class_でクラスを指定することでそのクラス(fragment)の要素のみ取得できる

result = soup.find_all("span", class_="fragment")
print(result)

記事本文からのみ取得する

body = soup.find["必要な範囲のタグ"] 
body.find_all(["h2","h3"])

のようにfindを二回使うことで限られた範囲内から検索することができる

困ったエラー

AttributeError: 'NoneType' object has no attribute 'find_all'