Nokogiriを使用したクローラーめも

文字コードの変更

require 'kconv'

str = "日本語の文字列"

puts str.tosjis => shift_jisに変換
puts str.toutf8 => utf-8に変換

Nokogiri

NodeとNodeSetとElement

NodeとNodeSetの違いについて理解する必要がある。

Nodeset

Nodeを格納したリスト型は配列

Node

NodeSetに格納されているもの
(例)

require 'nokogiri'
require 'open-uri'

html = open("http://XXXXXXX")
doc = Nokogiri::HTML.parse(html, nil, "UTF-8")

nodesets = doc.xpath('//title')
puts nodesets.text
puts nodesets.inner_text
puts nodesets.first_inner_text

nodesets.each do |nodeset|
puts nodeset.text
puts nodeset.inner_text
end

検索系のメソッド

doc.at('//title')  => 検索にヒットした最初のノード

doc.at_xpath('//title')  => xpathの検索にヒットした最初のノード

doc.at_css('title')  => cssの検索にヒットした最初のノード

doc.css('title')  => cssで検索。Nodeset

doc.css('title')[0]  => cssで検索。NodeSetから最初のノード

doc.xpath('//title')  => xpathで検索。最初のNode

doc.xpath('//title')[0]  => xpahtで検索。NodeSetから最初のNode

doc.search('title')
xpathかcssで検索。NodeSet

doc.search('title')[0]  => xpathかcssで検索。NodeSetから最初のNode

Nokogiriの検索・参照系メソッド

at

cssかxpathで検索し、ヒットした最初のElementをとりだす

at_css

cssで検索し、ヒットした最初のElementをとりだす

at_xpath

xpathで検索し、ヒットした最初のElementをとりだす

css

cssで検索し、NodeSetを返す

xpath

xpathで検索し、NodeSetを返す

search

cssかxpathで検索し、NodeSetを返す

content

コンテンツ(タグで囲まれた部分)を返す

inner_html

タグ内のHTMLを返す

inner_text

タグ内のテキスト文を返す

to_html

要素全体を返す

to_s

要素全体を返す

to_str

stringで返す

to_xhtml

要素全体を返す

to_xml

要素全体を返す

便利なやつ

Google

指定した文字を検索させ、検索結果を取得する

require 'google-search'

Google::Search::Web.new(:query => 'クローラー').each do |item|
puts item.url
puts item.title
end

Google Custom Search APIを使用するのあり

Amazon

Product Advertising API

Twitter

Twitter Streaming API

Facebok

Facebook Graph API