サイトリニューアルのとき、よくあるデータ移行があります。
手動作業はできますが、コストかかりますので、
バッチでHTML取得⇒解析⇒新システムに投入 というような機能が役に立つ場合があります。
Javaでは、jsoupというライブラリは有名です。
Pythonでは、beautifulsoup4 というライブラリは有名です。
jsoup: https://jsoup.org/
beautifulsoup4: https://pypi.org/project/beautifulsoup4/
VSCodeのターミナルからインストール
pip install beautifulsoup4
HTMLのfragmentの解析
解析サンプル
from bs4 import BeautifulSoup
html = "<body><h1>PythonでHTML解析</h1><p>HTML解析の説明</p></body>"
soup = BeautifulSoup(html, "html5lib")
print(soup.h1)
結果
<h1>PythonでHTML解析</h1>
一点注意したいのは、ライブラリにあるファイルを自分のプロジェクトフォルダーに作成するとエラーになる可能性があります。
例えば、「bs4.py」というファイルを作成して実行しようとするとエラーです。
URLから解析
from urllib.request import urlopen
from bs4 import BeautifulSoup
html = urlopen("https://news.yahoo.co.jp/").read()
soup = BeautifulSoup(html, 'html.parser')
# print(soup.prettify())
# css-selectorを書く
elements = soup.select(".topicsList li.topicsListItem a")
for element in elements:
print("title: " + element.text + ", href: " + element.get("href"))
解析結果
title: 日産・西川社長 16日付で辞任, href: https://news.yahoo.co.jp/pickup/6336028
title: 日産社長退任 裏に激しい攻防, href: https://news.yahoo.co.jp/pickup/6336027
title: 停電続く千葉「耐えるしか」, href: https://news.yahoo.co.jp/pickup/6336024
title: 上皇后さま 術後の経過順調, href: https://news.yahoo.co.jp/pickup/6336026
title: ヤマト 住所なしで発送可能に, href: https://news.yahoo.co.jp/pickup/6336019
title: 経費削減 減りゆくテレビCM, href: https://news.yahoo.co.jp/pickup/6335992
title: 騒然 ロッテ井口監督が即退場, href: https://news.yahoo.co.jp/pickup/6336025
title: 3選手がメッシとの会話拒否か, href: https://news.yahoo.co.jp/pickup/6336029
詳しい情報のURL：https://www.crummy.com/software/BeautifulSoup/bs4/doc/
以上