autopagerize-rubのclientをMechanizeにしてみた。
ソースはこちら。
https://github.com/chezou/autopagerize-ruby/tree/mechanized
ぶっちゃけ、httpclientの方が軽くて高速だとは思うけど、robots.txtやその周りのMeta-tagをハンドリングするのにはMechanizeの方が良いと思ってやった。
少し気になるのが、gemspecのauthor周り。
人のコードをforkしたときに、gemspecってどうやって書けばいいのだろう？今回は特にオリジナルとは別路線でいくコードだし。
まぁ、Treasuredataのtd-logger-rubyでもオリジナルのgemspecのままっぽいしいいか。
エラーハンドリングとかは結構適当かもしれません。
こんな適当な投稿がQiita初投稿とは、、、。
半端にrobots.txtを守らないといけない企業の方とか使ってください。