Camelを使ったJavaスクレイピング

スクレイピングな記事をみて、camelでもパラっとできそうだったので書いてみた。
書いてみたら色々前処理が必要だったけど、主要な部分はここ。

 from("direct:start")
 .to("http://dummy") // HTTPアクセス（HTTP_URI先にアクセスしている）
 .unmarshal().tidyMarkup() // HTML-> XMLに変換
 .setHeader("title_data").xpath("//title/text()");// XMLからtitleを取り出して保存

ここだけで、httpアクセスしてtitleのテキスト部分を取り出す処理が完了。

Webスクレイピング

http(s)アクセスして、情報を取得。必要なデータを読み込むという処理だそうだ。

camelとは？

色々なものにつながるライブラリ。
ルートと呼ばれる処理のストーリーっぽいのも書ける。RouteBuilderって所がそれ。
たくさんのコンポーネントがあって、コンポーネントを使って接続する。
今回使ったコンポーネントはhttpとtagsoup。

サンプルの内容

• 起動時に１回限り取ってくる
• https://www.google.co.jp　にアクセス
• タイトルの内容を取って"title_data"に保存
• 保存されたtitle_dataを標準出力
• httpコンポーネントは動的にURLを変更してアクセスしている

Hello

package test.scraping;

import org.apache.camel.Exchange;
import org.apache.camel.builder.RouteBuilder;
import org.apache.camel.impl.DefaultCamelContext;
import org.apache.camel.impl.DefaultExchange;
import org.apache.camel.main.Main;

public class Hello {

    public static void main(String[] args) throws Exception {
        // camelの設定と起動
        Main camel = new Main();
        camel.addRouteBuilder(getTitleRoute);
        camel.start();

        // camelのルートに送るデータを作成
        Exchange exchange = new DefaultExchange(new DefaultCamelContext());
        exchange.getIn().setHeader(Exchange.HTTP_URI, "https://www.google.co.jp");

        // camelのルートにデータを送る
        camel.getCamelTemplate().send("direct:start", exchange);

        // 結果を取得・表示
        String title = exchange.getIn().getHeader("title_data", String.class);
        System.out.println(title);
    }

    /** HTTP(s)アクセスしてタイトルを取ってくるシナリオ */
    public static RouteBuilder getTitleRoute = new RouteBuilder() {

        @Override
        public void configure() throws Exception {
            from("direct:start")
            .to("http://dummy")
            .unmarshal().tidyMarkup() // HTML-> XMLに変換
            .setHeader("title_data").xpath("//title/text()"); // XMLからtitleを取り出して保存
        }
    };
}

できたpomもついでに載っけておきます

pom.xml

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>
  <groupId>test</groupId>
  <artifactId>test.scraping</artifactId>
  <version>0.0.1-SNAPSHOT</version>
  <properties>
    <camel-ver>2.12.2</camel-ver>
  </properties>
  <dependencies>
    <dependency>
        <groupId>org.apache.camel</groupId>
        <artifactId>camel-core</artifactId>
        <version>${camel-ver}</version>
    </dependency>
    <dependency>
        <groupId>org.apache.camel</groupId>
        <artifactId>camel-http</artifactId>
        <version>${camel-ver}</version>
    </dependency>
    <dependency>
        <groupId>org.apache.camel</groupId>
        <artifactId>camel-tagsoup</artifactId>
        <version>${camel-ver}</version>
    </dependency>
  </dependencies>
</project>