Help us understand the problem. What is going on with this article?

クローリングのベンチマークを取ってみました。

はじめに

agouti を使ってクローリングを行い、ベンチマークを測定してみました。

クローリング対象ページ

今回クローリング対象のページは、goのtemplateパッケージを使用してローカルに生成したものを利用しました。以下では9つのページを生成しています。

func createPages() {
    createPage("/1", []string{"/2", "/3"})
    createPage("/2", []string{"/4", "/5"})
    createPage("/3", []string{"/6", "/7"})
    createPage("/4", []string{"/8", "/9"})
    createPage("/5", nil)
    createPage("/6", nil)
    createPage("/7", nil)
    createPage("/8", nil)
    createPage("/9", nil)

    http.ListenAndServe(":8080", nil)
}

func createPage(url string, links []string) {
    handler := newHandler(links)
    http.HandleFunc(url, handler)
}

func newHandler(links []string) func(w http.ResponseWriter, r *http.Request) {
    return func(w http.ResponseWriter, r *http.Request) {
        temp := "template.html.tmpl"
        t := template.Must(template.New(temp).ParseFiles(temp))
        if err := t.Execute(w, links); err != nil {
            log.Fatal(err)
        }
    }
}

template.html.tmpl

<!DOCTYPE html>
<html>
<body>
    <div>
        {{range .}}
            <p><a href="{{.}}">{{.}}</a></p>
        {{end}}
    </div>
</body>
</html>

クローラー

再帰的にクローリングを行いページ内のリンクを取得するクローラーを作成しました。

// クローリング済のリンク一覧
var seen = make(map[string]bool)

// クローリング対象のリンク一覧
var worklinks = make(chan string)

// maxConcurrent = クローリング最大平行数
// maxCrawlCount = クローリングするページの最大数
func Crawls(link string, maxConcurrent int, maxCrawlCount int) ([]string, error) {
    errCh := make(chan error)

    go func() {
        worklinks <- link
    }()

    for i := 0; i < maxConcurrent; i++ {
        go func() {
            for link := range unseen {
                links, err := crawl(link)
                if err != nil {
                    errCh <- err
                    return
                }
                for _, l := range links {
                    l := l
                    go func() {
                        worklinks <- l
                    }()
                }
            }
        }()
    }

    for {
        select {
        case link := <-worklinks:
            if !seen[link] {
                seen[link] = true
                unseen <- link
            }
            if len(seen) >= maxCrawlCount {
                links := make([]string, 0, len(seen))
                for k := range seen {
                    links = append(links, k)
                }
                return links, nil
            }
        case err := <-errCh:
            return nil, err
        }
    }
}

// ページ内のリンクを検索
func crawl(link string) ([]string, error) {
    driver := agouti.ChromeDriver(
        agouti.ChromeOptions("args", []string{
            "--headless",
        }),
    )
    if err := driver.Start(); err != nil {
        return nil, errors.Wrap(err, "Failed to start driver")
    }
    defer driver.Stop()

    p, err := driver.NewPage()
    if err != nil {
        return nil, err
    }

    err = p.Navigate(link)
    if err != nil {
        return nil, err
    }

    t := p.All("a")
    length, err := t.Count()
    if err != nil {
        return nil, err
    }

    links := []string{}
    for i := 0; i < length; i++ {
        link, err := t.At(i).Attribute("href")
        if err != nil {
            return nil, err
        }
        links = append(links, link)
    }
    return links, nil
}

Benchmark測定

最大並行数を変えてベンチマークを測定してみました。現在の実装だと並行数を単純に増やせばその分早くなるというわけではないことがわかりました。。今後改善していきたいと思います。

並行数 処理時間(ns)
1 16479309835
2 10561147824
3 8914031897
4 8981436252
5 7767930345
10 6496013517
50 8146189396
func BenchmarkCrawl1(b *testing.B) {
    benchmark(b, 1)
}

func BenchmarkCrawl2(b *testing.B) {
    benchmark(b, 2)
}

func BenchmarkCrawl3(b *testing.B) {
    benchmark(b, 3)
}

func BenchmarkCrawl4(b *testing.B) {
    benchmark(b, 4)
}

func BenchmarkCrawl5(b *testing.B) {
    benchmark(b, 5)
}

func BenchmarkCrawl10(b *testing.B) {
    benchmark(b, 10)
}

func BenchmarkCrawl10(b *testing.B) {
    benchmark(b, 50)
}

func benchmark(b *testing.B, maxConcurrent int) {
    go func() {
        createPages()
    }()

    for i := 0; i < b.N; i++ {
        links, err := Crawls("http://localhost:8080/1", maxConcurrent, 9)
        b.Logf("links: %v", links)
        if err != nil {
            b.Error(err)
            return
        }
    }
}
Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Comments
No comments
Sign up for free and join this conversation.
If you already have a Qiita account
Why do not you register as a user and use Qiita more conveniently?
You need to log in to use this function. Qiita can be used more conveniently after logging in.
You seem to be reading articles frequently this month. Qiita can be used more conveniently after logging in.
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
ユーザーは見つかりませんでした