BeautifulSoupで簡単にスクレイピング

WebスクレイピングといえばBeautifulSoupですね。

GoogleClobを使えばすぐに試してみることができます。

from urllib.request import urlopen
import requests
from bs4 import BeautifulSoup
import bs4

#urlを変数に格納
url = 'https://ホームページ'

#データを取得
res = requests.get(url)

# HTMLからBeautifulSoupオブジェクトを作る
soup = BeautifulSoup(res.content, "html.parser")

# 全てのaを取得して格納
elems = soup.select('a')

# 配列からelemsから要素を取り出し処理する
for elem in elems:
print(elem.getText(), elem.get('href'))

参考文献