Webクローラ「Heritrix」を使ってみる #crawler

はじめに

仕事で「 Heritrix 」という OSS の Web クローラを使ってみようということになったので、
使えるようになるまで、ちょっと試行錯誤した足あとでも残してみようと思う。

なんか、日本語の情報全然ないから、ちょっとでも誰かの役に立つと嬉しい。

Heritrix について

公式サイト（らしきとこ）
Heritrix - Heritrix - IA Webteam Confluence

ちなみに、なんか情報ないか探していたら
Heritrix を使っているらしき、国立国会図書館の概要説明がわかりやすそうだった。

国立国会図書館が書いた Heritrix についての説明（らしきもの）
収集ロボット Heritrix | ウェブアーカイブのしくみ｜国立国会図書館インターネット資料収集保存事業

Heritrix のインストール

まず、公式ドキュメントに沿ってインストール等々やってみる。

Heritrix 3.0 and 3.1 User Guide - Heritrix - IA Webteam Confluence

downloads には 3.2.0 が最新とあったんで、これを持ってこようと思うんだけど、
ドキュメントは 3.1 までしかないということなんだろうか。まぁいいや。これで進めよう。

Linux（Fedora）環境で作成する。

Heritrix のダウンロード

「Heritrix Installation」を参照。

たいした説明じゃなかったので、とりあえず、適当な場所にダウンロードと解凍してみた。

$ wget http://builds.archive.org/maven2/org/archive/heritrix/heritrix/3.2.0/heritrix-3.2.0-dist.tar.gz

$ tar pxvf heritrix-3.2.0-dist.tar.gz

Heritrix の設定

「Heritrix Configuration」のページに沿って、各種設定をする。

JAVA_HOME の設定

JRE 1.6 と書いてあるけど、今の環境が JDK 1.7 だから、一旦そのままでやってみようと思う。
だめなら 1.6 に設定し直してみる。

HERITRIX_HOME の設定

解凍した場所を設定する。私はこんな感じで。

export HERITRIX_HOME=/home/user/heritrix/heritrix-3.2.0

起動ファイルに実行権限を与える

起動ファイルに実行権限を与えましょう。
ちなみに私は tar.gz をダウンロードして、権限維持の解凍したから不要（既に実行権限あり）でした。

$ chmod u+x $HERITRIX_HOME/bin/heritrix

メモリ割り当ての設定

メモリ割り当てサイズのオプションを設定。

export JAVA_OPTS=-Xmx1024M

これでいけるはず。

Heritrix の実行

ついに実行だ！
「Running Heritrix 3.0 and 3.1」のページを参照。

各種コマンドの説明があるけど、英語読むのがだるいので、
ひとまず、Web UI があるっちゅーんで、試してみる。

以下のコマンドを打てば良いらしい。

$ $HERITRIX_HOME/bin/heritrix -a admin:admin
2014年 12月 29日 月曜日 15:20:08 JST Heritrix starting (pid 4464)..
~
一部省略 
~
engine listening at port 8443
operator login set per command-line
NOTE: We recommend a longer, stronger password, especially if your web 
interface will be internet-accessible.

起動したぽいので、ブラウザで確認してみる！