68
Help us understand the problem. What are the problem?

More than 5 years have passed since last update.

posted at

updated at

Organization

Anemone gem (ruby) で指定したURLだけクロールする方法

1行概要

rubyのgem anemonを使って指定した正規表現のURLだけクロールし続けるサンプル

犯行動機

友人がよからぬ事をしようとしていたので援護射撃

方法

crawl.rb
require 'anemone'

Anemone.crawl('http://example.com/start_page.html') do |anemone|

  # クロールするごとに呼び出される
  anemone.focus_crawl do |page|

    # 条件に一致するリンクだけ残す
    # この `links` はanemoneが次にクロールする候補リスト
    page.links.keep_if { |link|
      link.to_s.match(/detail/)
    } 

  end

  # ここがメインの部分
  anemone.on_every_page do |page|

    # クロールした結果をごにょごにょ
    p page.doc.at('title').inner_html

  end
end

結論

anemoneすごい。

twitterはこちら -> https://twitter.com/tady_jp

Register as a new user and use Qiita more conveniently

  1. You can follow users and tags
  2. you can stock useful information
  3. You can make editorial suggestions for articles
What you can do with signing up
68
Help us understand the problem. What are the problem?