goのスクレイピングフレームワークColly

Scraping Framework for Golang

Fast and Elegant Scraping Framework for Gophers

Documentation | Colly

インストール

$ brew install go
$ go get -u github.com/gocolly/colly/...

実装サンプル

許可ドメイン内でクロールする

basic.go

package main

import (
    "fmt"
    "github.com/gocolly/colly"
)

func main() {
    c := colly.NewCollector()

    // リクエスト許可するドメインの設定
    c.AllowedDomains = []string{"jp.leagueoflegends.com", "support.riotgames.com"}

    // HTMLもらった時に実行するコールバック
    c.OnHTML("a[href]", func(element *colly.HTMLElement) {
        link := element.Attr("href")
        fmt.Printf("見つけたリンク: %q -> %s\n", element.Text, link)

        // 見つけたリンクにリクエスト
        c.Visit(element.Request.AbsoluteURL(link))
    })

    c.OnRequest(func(request *colly.Request) {
        fmt.Println("ここにリクエストするよ", request.URL.String())
    })

    c.Visit("https://jp.leagueoflegends.com/ja/")
}

一覧ページから個別ページ入ってデータ収集

lol_champions.go

package main

import (
    "log"
    "github.com/gocolly/colly"
)

type Champion struct {
    URL     string
    Name    string
    AD      string
    AR      string
    AP      string
    Difficulty string
}

func main()  {
    c := colly.NewCollector()
    detailCollector := c.Clone()

    champions := make([]Champion, 0)

    // 一覧ページから個別ページURLを取得して個別ページ用のコレクタでリクエストする
    link_selector := "#sortabletable1 tr td:nth-child(1) > a"
    c.OnHTML(link_selector, func(e *colly.HTMLElement) {
        href := e.Attr("href")
        url := e.Request.AbsoluteURL(href)
        log.Println("URL: ", url)
        detailCollector.Visit(url)
    })

    c.OnRequest(func(r *colly.Request) {
        log.Println("一覧ページリクエスト: ", r.URL.String())
    })

    detailCollector.OnHTML("div.champion_stats", func(element *colly.HTMLElement) {
        champion := Champion{
            URL:    element.Request.URL.String(),
            Name:   element.DOM.Find("#content_5_0").Text(),
            AD:     element.DOM.Find(".list1 dd:nth-child(2)").Text(),
            AR:     element.DOM.Find(".list1 dd:nth-child(4)").Text(),
            AP:     element.DOM.Find(".list1 dd:nth-child(6)").Text(),
            Difficulty: element.DOM.Find(".list1 dd:nth-child(8)").Text(),
        }
        log.Println(champion.Name)
        champions = append(champions, champion)
    })

    c.Visit("https://loljp-wiki.tk/wiki/?Champion%20Stats%20Table")
    log.Println("finish")
}