はじめに

サイトリニューアルのとき、データ移行作業がよくあります。
手動作業はできますが、コストかかりますので、
バッチでHTML取得⇒解析⇒新システムに投入　というような機能が役に立つ場合があります。

Javaでは、jsoupというライブラリは有名です。
Pythonでは、beautifulsoup4 というライブラリは有名です。

jsoup: https://jsoup.org/
beautifulsoup4: https://pypi.org/project/beautifulsoup4/

1 jsoup

jsoupはHTML解析のJAVAライブラリです。jquery-likeのセレクターで簡単にHTML解析できます。
WHATWG HTML5 仕様を対応しております。

1-1 JAVAプロジェクト作成し、ライブラリ導入

Gradle例：

// https://mvnrepository.com/artifact/org.jsoup/jsoup
compile group: 'org.jsoup', name: 'jsoup', version: '1.12.1'

1-2 Yahooニュースのタイトルの取得例

1-2-1 HTML構造

1-2-2 タイトルとURLを抽出するシンプルな解析コード

package com.test.jsoup;

import java.io.IOException;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class JsoupHtmlParser {

	public static void main(String[] args) throws IOException {
		Document doc = Jsoup.connect("https://news.yahoo.co.jp").get();
		// 各記事のaタグを取得。jQueryのセレクターと同じ感じで記載
		Elements newsHeadlines = doc.select(".topicsList li.topicsListItem a");
		for (Element headline : newsHeadlines) {
			System.out.println("title: " + headline.ownText() + ",  href: " + headline.absUrl("href"));
		}
	}
}

1-2-3 解析結果

title: 台風で記録的暴風、2人死亡,  href: https://news.yahoo.co.jp/pickup/6336014
title: 成田空港 1万人でごった返す,  href: https://news.yahoo.co.jp/pickup/6336017
title: 警備会社の3.6億円盗む 手配,  href: https://news.yahoo.co.jp/pickup/6336018
title: 計画運休 ダイヤの正常化課題,  href: https://news.yahoo.co.jp/pickup/6336013
title: バズる女子大生 炎上で50回涙,  href: https://news.yahoo.co.jp/pickup/6335993
title: バスケW杯5敗目 3P全部外す,  href: https://news.yahoo.co.jp/pickup/6336020
title: NPB プロスポーツ協会を脱退,  href: https://news.yahoo.co.jp/pickup/6336015
title: 吉沢亮「重圧尋常じゃない」,  href: https://news.yahoo.co.jp/pickup/6336022

1-3 HTML文字列の解析

1-3-1 解析サンプル

package com.test.jsoup;

import java.io.IOException;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;

public class JsoupHtmlParser {

	public static void main(String[] args) throws IOException {
		String html = "<h1>HTML fragmentの解析</h1><div><p>P1</p>";
		Document doc = Jsoup.parseBodyFragment(html);
		
		// docのそのまま出力すると、html,bodyタグが付加されましたので、fragment解析の場合は要注意
		System.out.println(doc.html());
		
		System.out.println("==========================");
		
		// bodyの要素を出力
		Element body = doc.body();
		System.out.println(body.html());
	}
}

1-3-2 解析結果

<html>
 <head></head>
 <body>
  <h1>HTML fragmentの解析</h1>
  <div>
   <p>P1</p>
  </div>
 </body>
</html>
==========================
<h1>HTML fragmentの解析</h1>
<div>
 <p>P1</p>
</div>

そのほか、ファイルからHTML解析、データ抽出、データ修正などサイトにわかりやすいサンプルコードがあります。
https://jsoup.org/cookbook/input/load-document-from-file

以上