Python + Beautiful Soupスクレイピング

Requestsインストール

requestsはWebサイトの情報取得や画像の収集など、スクレイピングに役立つHTTP通信用のPythonのライブラリです。
後述するBeautiful Soupと併用することで、Webサイトを解析し、必要な情報だけを抜き出すことができます。

▼インストール

pip install requests

Beautiful Soupインストール

Beautiful SoupはHTMLやXMLからデータを抽出するためのライブラリです。
タグを指定し、ピンポイントでのデータ抽出も可能です。

▼インストール

pip install beautifulsoup4

ソースコード

ここでは基本構文のみ。
実際に何か作った際は、使い方の詳細を書きます。

▼基本的な使い方

get.py

# resuestsモジュールをインポート
import requests

# BeautifulSoupクラスをインポート
from bs4 import BeautifulSoup

# スクレイピング対象URLのHTMLを取得
html = requests.get("https://www.yahoo.co.jp/")

# レスポンスのHTMLをもとにBeautifulSoupのオブジェクトを生成
soup = BeautifulSoup(html.content, "html.parser")

# HTMLのタイトルタグを取得
print(soup.title)

実行結果

D:\prj_python>python get.py
<title>Yahoo! JAPAN</title>