goqueryでお手軽スクレイピング！

Last updated at 2013-12-04Posted at 2013-12-04

こんにちは、Qiita二回目の投稿です、 yosuke_furukawa と申します、Golang勉強中です。

Qiitaの一回目の投稿もScrapingネタだったのですが、二回目もGolang勉強中ということでQiitaのScrapingネタで行きます。

まず、goqueryの説明に行く前に単純なやり方でscrapingしてみます。

Golangで単純なスクレイピングをするためには、以下のモジュールを利用するとできます。

net/http httpリクエストを送るためのモジュール
code.google.com/p/go.net/html html解析をするためのモジュール

超シンプルなサンプルとして、該当のurlのaタグのhrefにある値だけ取得する場合は以下の様な感じになるかと思います。

go.net/htmlで頑張る

package main

import (
     "code.google.com/p/go.net/html"
     "fmt"
     "io"
     "net/http"
)

type Result struct {
     Url string
}

func ParseItem(r io.Reader) []Result {
     results := []Result{}
     doc, err := html.Parse(r)
     if err != nil {
          fmt.Println(err)
     }

     var result Result
     var f func(*html.Node)
     f = func(n *html.Node) {
          // n.Typeでノードの型をチェックできる、ElementNodeでHTMLタグのNode。
          // n.Dataでノートの値をチェックする、aタグをチェックしている
          if n.Type == html.ElementNode && n.Data == "a" {
               // n.Attrで属性を一覧する
               // ここでもう少し頑張るとparseできる
               for _, a := range n.Attr {
                    if a.Key == "href" {
                         result.Url = a.Val
                         results = append(results, result)
                    }
               }
          }
          for c := n.FirstChild; c != nil; c = c.NextSibling {
               f(c)
          }
     }
     f(doc)
     return results
}

func GetPage(url string) []Result {
     //http.GetでGetリクエストを発行する
     res, err := http.Get(url)
     if err != nil {
          fmt.Println(err)
     }
     // deferでやるとReaderを関数の終わりで必ずCloseしてくれる。便利!!
     defer res.Body.Close()
     results := ParseItem(res.Body)
     return results
}

func main() {
     url := "http://qiita.com/advent-calendar/2013/"
     results := GetPage(url)
     for _, result := range results {
          fmt.Println(result.Url)
     }
}

go-html-transformを使う

また、単純にページから情報を抽出する、というよりもDOMの中から不要なものを削ったり、ページを加工するならcode.google.com/p/go.net/htmlよりもcode.google.com/p/go-html-transform/html/transformを使うのがいいかと思います。
CSSセレクタが使えるので、いい感じにfilterを書けます。(ただ名前の通りhtmlの加工目的なので、htmlから必要な情報を抽出するのには向かない気もします。)

package main

import (
     "code.google.com/p/go-html-transform/html/transform"
     "fmt"
     "io"
     "net/http"
)

type Result struct {
     Url string
}

func ParseItem(r io.Reader) {
     // transformのインスタンスを作る
     t, _ := transform.NewFromReader(r)
     // Applyメソッドで自分のDOMに反映する。
     // Applyメソッド内では、TransformFuncを受け付けるようになっており、
     // Replaceの他にもDOMを追加するAppendChildrenやPrependChildrenなどもある。
     // ページを加工するならこっちのが便利。
     // ちなみに以下の処理で不要なページを削っている
     t.Apply(transform.Replace(), "script")
     t.Apply(transform.Replace(), "footer")
     t.Apply(transform.Replace(), "meta")
     t.Apply(transform.Replace(), "ul")
     t.Apply(transform.Replace(), "li")
     t.Apply(transform.Replace(), "link")
     t.Apply(transform.Replace(), "div.day")
     t.Apply(transform.Replace(), "div.advent-calendar-breadcrumb")
     t.Apply(transform.Replace(), "a.post-user-icon")
     fmt.Println(t.String())
}

func GetPage(url string) {
     //http.GetでGetリクエストを発行する
     res, err := http.Get(url)
     if err != nil {
          fmt.Println(err)
     }
     // deferでやるとReaderを関数の終わりで必ずCloseしてくれる。便利!!
     defer res.Body.Close()
     ParseItem(res.Body)
}

func main() {
     url := "http://qiita.com/advent-calendar/2013/"
     GetPage(url)
}

goqueryを使う

と、色々と書きましたが、jQueryライクなセレクタを持ち、httpのリクエストの処理も兼ね備えているgoqueryを使うのがスクレイピングには一番向きます。Golangの勉強ということで、なるべくモジュール組み合わせて、試したかったのです。すいません。

package main

import (
     "fmt"
     "github.com/PuerkitoBio/goquery"
)

func GetPage(url string) {
     doc, _ := goquery.NewDocument(url)
     doc.Find("a").Each(func(_ int, s *goquery.Selection) {
          url, _ := s.Attr("href")
          fmt.Println(url)
     })
}

func main() {
     url := "http://qiita.com/advent-calendar/2013/"
     GetPage(url)
}

めちゃくちゃ短くできる!!!!!!!!
しかも直感的!!!!!!!!!

goqueryは既にmattnさんが記事にしてくれてるので、それも参考になると思います。
Go言語で jQuery ライクな操作が出来る goquery を試した。

goquery

最後にgoqueryとgoroutine、channelで並列処理でQiitaのこれまでのエントリをscrapingして出力して終わります。コードはコチラ。

package main

import (
	"fmt"
	"github.com/PuerkitoBio/goquery"
	"os"
	"sync"
)

type Result struct {
	CalTitle string
	Title    string
	Url      string
}

func GetPage(url string) []Result {
	results := []Result{}
	doc, _ := goquery.NewDocument(url)
	doc.Find("a.calendar-name").Each(func(_ int, s *goquery.Selection) {
		url, exists := s.Attr("href")
		if exists {
			caltitle := s.Text()
			entryPage, _ := goquery.NewDocument("http://qiita.com" + url)
			entryPage.Find("div.body h1>a").Each(func(_ int, s *goquery.Selection) {
				url, exists := s.Attr("href")
				if exists {
					result := Result{caltitle, s.Text(), url}
					results = append(results, result)
				}
			})
		}
	})
	return results
}

func GoGet(urls []string) <-chan []Result {
	var wg sync.WaitGroup
	ch := make(chan []Result)
	go func() {
		for _, url := range urls {
			wg.Add(1)
			go func(url string) {
				ch <- GetPage(url)
				wg.Done()
			}(url)
		}
		wg.Wait()
		close(ch)
	}()
	return ch
}

func main() {
	args := os.Args
	if len(args) < 2 {
		panic("usage : goquery <url>")
	}

	urls := []string{}
	for index, arg := range args {
		if index != 0 {
			urls = append(urls, arg)
		}
	}

	ch := GoGet(urls)
	for {
		results, ok := <-ch
		if !ok {
			return
		}
		calTitle := ""
		for _, result := range results {
			if calTitle != result.CalTitle {
				fmt.Println("#" + result.CalTitle)
				calTitle = result.CalTitle
			}
			fmt.Println("[" + result.Title + "](" + result.Url + ")")
		}
	}
}

リポジトリはコチラ：
https://github.com/yosuke-furukawa/goquery_sample

使い方：

$ goquery http://qiita.com/advent-calendar/2013 http://qiita.com/advent-calendar/2012

Qiita アドベントカレンダー一覧(2013一覧)：

iOS Second Stage

iOS 7でバーコード・QRコードを読み取る方法と生成する方法（おまけもあるよ）
複数のStoryboardを使ってタブの遷移を作成する
 iOSで使える日本語OKな音声読み上げエンジン8種（TTS,音声合成）
Xcodeと自動化
#.emacs
emacs のリージョンや編集中のバッファを DayOne の Dropbox に保存する拡張をつくった
 自分流の .emacs管理
 anzu.elの紹介
 ぼくの.emacs 2013
#Android
BeagleBone BlackにAndroidをインストールする
 Gradleことはじめ
#Go
Androidでʕ ◔ϖ◔ʔGo~
goyaccを使う
 Go言語で顔認識してみた
#iOS
XIBからもコードからもカスタムViewインスタンスを生成する方法
 「顔以外」のものを画像認識する
 IB/Storyboard使わない派のlayoutSubviewsによるレイアウト調整
#JavaScript - Client Side -
BakboneJSだってDOMとModelをBindingしたい！
なぜクライアントサイドJavaScriptにはHTML/CSSの知識が必要か？
Ember.jsのコアな機能を学ぶためのサンプルプロジェクト
#Machine Learning
Random Forest とその派生アルゴリズムの紹介
 Dropoutの実装と重みの正則化（MLAC 2013 3日目）
たぶん1分くらいでできる形態素解析とtfidf(テストコードつき)
ベイズ線形回帰（PRML§3.3）の図版再現
#PHP
PHPの開発に使えるVagrantfileのまとめ
#PhpStorm
コードフォーマットを使いこなす
 PhpStorm EAPを使ってみる
 PhpStormをVimキーマップで使う
 PhpStormとは？
#Ruby
websocket-client-simple でPush通信を使ってJenkinsさんと会話
 Ruby 2.1.0-preview2で追加されたException#causeの紹介
 RailsとGrapeで行う最高のWeb API開発
#Scala
Lift の RestHelper でサクサクAPI 開発
 2014年こそScalaを始めよう
#Unity
Unity　途別2Dアセット
 Transform拡張
 MoveAssetToTrashでUndo/Redo

290

264

You get articles that match your needs
You can efficiently read back useful information
You can use dark theme

What you can do with signing up