rails 発展その7 スクレイピング

スクレイピングとはwebページのHTMLから情報を抜き出す方法です。
データの集計にも役立ちます。

railsスクレイピングの基本

gemfile

  gem 'mechanize'
 # このgemでスクレイピングができるようになります。

ターミナル

　　$ bundle install
   #忘れずに反映します。

controller

  # 上から順にスクレイピングの基本となるコード例一覧です。

   sample = Mechanize.new 
   # Mechanizeを使ってスクレイピングをするには、Mechanizeクラスのインスタンスを生成します。

   page = sample.get("http://~~(アドレス)") 
   # getメソッドでHTMLを取得

   ele = page.search('h2 a')
   # searchメソッドでh2とaの要素を検索
   
   puts ele.inner_text
   # inner_textメソッドで得られたHTML情報のテキストを取得する
  
   puts ele.get_attribute('href') 
   # get_attributeメソッドでhrefの取り出し
   # puts ele[:href]としても良い