正規表現を使う

　正規表現を使えば、CSSでスクレイピング対象物を特定できない場合などに役立ちます。
今回は日経新聞のサイトにある見出しを取得します。

まずrequestsをインストールしておきます。

pip install requests

そして以下プログラムを実行すると見出しが出力されます。
※抽出箇所のHTMLが記事投稿時と違う可能性があるため、その際はブラウザの開発者ツールなどで要確認です。

# requestsと正規表現のモジュールインポート
import requests
import re

# サイトURLを変数に格納
URL = 'https://www.nikkei.com'

# get()メソッドでデータを取得
res = requests.get(URL)

# ステータス確認
res.status_code == requests.codes.ok

# reモジュールのfindall()関数を使い正規表現にマッチした箇所を抽出
subtitles = re.findall(r'<span class="m-miM\d{2}_titleL".*>(.+)</span></a>', res.text)

# for文で出力
for i in subtitles:
    print(i)

するとこのように表示されたと思います。

英離脱合意、近づく崩壊　独首相「30日内に解決策を」
米国防長官、ミサイル発射実験で「中国を抑止」
「スパイダーマン」ファン不在でピンチ
（ストーリー4）
ランチ難民にサブスク弁当　月1万2000円で待ち時間ゼロ
至難の業「お宝株」探し 「1年で株価2倍」10年ぶり少なさ
…

正規表現にマッチした箇所を抽出するには、ブラウザの開発者ツールにて、
<span class=～タイトル名 ~>のようになっているところを見つけたら、
タイトル名を抜き出すような正規表現を記載すれば、得たい情報を取得できます。

Pandasを使う

データ解析用ライブラリのPandasを使ってWebスクレイピングすることも可能です。
特に表データの抽出に優れています。インストールしておきましょう。

pip install pandas

こちらのYahooニュース：株式ランキングをスクレイピングします。
とりあえず取得してみます。すごく短いコードですね。

# pandasインポート
import pandas as pd

# サイトURLを変数に格納
URL = 'https://info.finance.yahoo.co.jp/ranking/?kd=3&mk=3&tm=d&vl=a'

# pd.read_htmlでHTML内の<table>データを拾う
dfs = pd.read_html(URL)

# 表示
print(dfs[0])

すると以下のように表示されたと思います。

来高  掲示板
0    1  8411  東証1部     (株)みずほフィナンシャルグループ  ...   0.00%    ---  63459300  掲示板
1    2  8306  東証1部  (株)三菱ＵＦＪフィナンシャル・グループ  ...  -0.26%   -1.3  32270000  掲示板
2    3  3656  東証1部               ＫＬａｂ(株)  ...  +8.41%    +86  23677000  掲示板
3    4  8604  東証1部         野村ホールディングス(株)  ...  +2.27%     +9  21700100  掲示板
4    5  9434  東証1部             ソフトバンク(株)  ...  +0.80%    +12  20954900  掲示板
…

これだけではいらない情報もあると思います。項目を抽出して取り直してみます。

# coding: UTF-8
# pandasインポート
import pandas as pd

# サイトURLを変数に格納
URL = 'https://info.finance.yahoo.co.jp/ranking/?kd=3&mk=3&tm=d&vl=a'

# pandasで表データ抽出
dfs = pd.read_html(URL)

# 選択した項目のみ表示
dfs[0].columns = ['順位', 'コード', '市場', '名称', '取引値', '前日比', '出来高', '掲示板','Unnamed: 8','Unnamed: 9']
print(dfs[0][['順位','名称', '前日比', '出来高']])

すると先程よりシンプルになりました。

                      名称     前日比     出来高
0      (株)みずほフィナンシャルグループ   154.3   0.00%
1   (株)三菱ＵＦＪフィナンシャル・グループ   500.5  -0.26%
2                ＫＬａｂ(株)    1109  +8.41%
3          野村ホールディングス(株)   405.3  +2.27%
4              ソフトバンク(株)    1518  +0.80%
…

Pandasは、CSVやExcelなどのファイルもスクレイピング可能です。また取得した情報をCSVに出力することもできます。

あとはSeleniumを使ったスクレイピング方法などあります。
Seleniumはブラウザ操作をする為のライブラリなので、ログインスタートもできます。
また機会があれば記載したいと思います。

関連記事

PythonでITニュースサイトの見出しをWebスクレイピング