この記事について

以前Qiitaにも書いたが、JavaでWebサイトのスクレイピングを行うコードを書いていたのだが
今読み返してみると、要件は満たしているもののコードの内容がきれいとは言い難く
見ていて恥ずかしくなってしまったので、Pythonで書き直すことにしたのでメモ。

Qiita内にも類似の記事は多数あるが、覚書ということで。

BeautifulSoupについて

Javaによるスクレイピングを行う際にはjsoupというライブラリを使用していたが
今回はBeautifulSoupを使用する。

BeautifulSoupはPythonのスクレイピング用のライブラリである。
CSSセレクタを用いてページ内の要素を抽出できるので、ページ内の欲しいデータだけを抽出するのに便利である。
公式：https://www.crummy.com/software/BeautifulSoup/bs4/doc/

Pythonのライブラリなので、導入はpipで行う。

pip install beautifulsoup4

使用例

以前書いた記事と同様に、以下のページから「お知らせ」の日付・タイトル・URLを抽出したい。

<body> 
 <div class="section"> 
  <div class="block"> 
   <dl>
    <dt>2019.08.04</dt> 
    <dd>
     <a href="http://www.example.com/notice/0003.html">お知らせ その3</a>
    </dd> 
    <dt>2019.08.03</dt> 
    <dd>
     <a href="http://www.example.com/notice/0002.html">お知らせ その2</a>
    </dd> 
    <dt>2019.08.02</dt> 
    <dd>
     <a href="http://www.example.com/notice/0001.html">お知らせ その1</a>
    </dd> 
   </dl>
  </div>
 </div>
</body>

以下のコードにてお知らせの抽出を行い、printする。

scraping.py

# -*- coding: utf-8 -*-
import requests
import sys
from bs4 import BeautifulSoup
from datetime import datetime as d

def main():

    print("Scraping Program Start")

    # 指定のURLに対してGETリクエストを送信し、ページの内容を取得
    res=requests.get('http://www.example.com/news.html')

    # 取得したHTMLページをBeautifulSoupオブジェクトにパース
    soup = BeautifulSoup(res.text, "html.parser")

    # ページ内のblockクラスの要素を丸ごと抽出
    block = soup.find(class_="block")

    # blockクラス内のdt要素（日付）とdd要素を抽出
    dt = block.find_all("dt")
    dd = block.find_all("dd")

    if(len(dt) != len(dd)):
        print("ERROR! The number of DTs and DDs didn't match up.")
        print("Scraping Program Abend")
        sys.exit(1)

    newsList = []

    for i in range(len(dt)):
        try:
            date = dt[i].text
            title = dd[i].find("a")
            url = dd[i].find("a").attrs['href']

            print("Got a news. Date:" + date +", title:" + title.string + ", url:" + url)

        except:
            print("ERROR! Couldn't get a news.")
            pass

    print("Scraping Program End")

if __name__ == "__main__":
    main()

上記コードを実行した際の期待結果は以下。

Scraping Program Start
Got a news. Date:2019.08.04, title:お知らせ その3, url:http://www.example.com/notice/0003.html
Got a news. Date:2019.08.03, title:お知らせ その2, url:http://www.example.com/notice/0002.html
Got a news. Date:2019.08.04, title:お知らせ その1, url:http://www.example.com/notice/0001.html
Scraping Program End

おわりに

前回JavaのSpring Bootで書いた時と比べて、Pythonだとコーディング量が圧倒的に少なく済むのがいいですね。
内容の間違い等あれば、ご指摘願います。

PythonのBeautifulSoupによるWebサイトのスクレイピング

この記事について

BeautifulSoupについて

使用例

おわりに