HTMLをパースするライブラリ

今回あるサイトのHTTPのレスポンスのHTMLをパースする必要がありました。HTMLは基本はXMLなので色々なパーサがありますが、jsoupを使ったら意外とよかったのでそれを紹介したいと思います。

そもそも・・・なんでHTMLをパースする必要があるのか？

今、開発しているアプリがAndroid端末内でCSVファイルを作ってそれをWebサイトにアップロードする仕組みなんですが、そのWebサイトがWEB APIを提供していなくて、（おそらく、１０年以上前に作った、そのまま）普通のブラウザからHTMLでのアップロードのインタフェースしか提供していません。

という、一連の流れになっています。こんなの、APIあれば一発なのに・・・と思うのが普通でしょうが。各リクエスト/レスポンスのやり取りで、ブラウザから来る前提なので、結果のレスポンスは全てHTMLです。そのHTMLの中の特定のタグの値を見て正常か、失敗かを判定する必要があります。

まず、ライブラリの依存性を追加します

build.gradle

dependencies {
    ・・・
    implementation 'org.jsoup:jsoup:1.15.3'
}

パースはString型を引数にorg.jsoup.Jsoup#parseを呼ぶと、org.jsoup.nodes.Document型が返ってきます。簡単ですね。

val doc = Jsoup.parse(response)

このorg.jsoup.nodes.Document型がHTMLの全ての情報がパースされて格納されています。ここなら目的の箇所を探し当てて、値を取得します。この方法ですが、いくつかあります。

この結果にorg.jsoup.select.Elements型が返ってきます。上のいずれの方法で探しても、HTMLの中に複数個所該当する場合があります。

org.jsoup.select.Elementsの中にorg.jsoup.nodes.Elementを複数繰り返しで持っています。

elements.forEach { element ->
    println(element.text())
}

HTMLなので当然階層構造になっているので、org.jsoup.nodes.Elementには子要素が存在します。

val elements =  table.children()

子要素も複数のElementの繰り返しの可能性があるので、org.jsoup.select.Elementsで返ってきます。これらをforEach等で繰り返しながら、目的のElementを探し当てます。

目的のElementを探し当てたら、そのElementのデータを取得します。これも取得するデータによってメソッドが分かれています。

例えば、探し当てた目的のElementが

<input type="hidden" id="xxxx_key" name="xxxxx_key" value="20221216195944675">

だったら、value="・・・" の部分を取得したければ、

var val = element.text()

と言った感じになります。

jsoupは上の例のようにHTMLパーサとして使えますが、HTTPで送信する機能も持っています。ただし、非同期ではなく同期なので、Androidから送信する場合は非同期の部分はcoroutineなり、RxJavaなりで自分で実装する必要があります。

val document = Jsoup.connect("http://www.google.co.jp").get()
println(document.html())

リクエストパラメータを付けることもできます。

val doc = Jsoup.connect("http://example.com")
  .data("query", "Java")
  .userAgent("Mozilla")
  .cookie("auth", "token")
  .timeout(3000)
  .post()