リポジトリ

はじめに

Webクローラーを開発する際、フルスクラッチで作るのは少し面倒だし、フルスタックなのはいらない、、という時に丁度いいライブラリがなかったので作りました。
本当に最低限の機能のみ搭載しました。

主な3つの機能を紹介します

キーワードを入れて自然検索結果画面に表示されるページURLを返します。

sample_search.go

import "github.com/ryonakao/netsurfer"
urls, err := netsurfer.OrganicSearch("キーワード", 3)

指定キーワードで検索した時、指定ページがオーガニックで何位に掲載されるかを返します。

sample_rank.go

import (
	"net/url"
	"github.com/ryonakao/netsurfer"
)
u, _ := url.Parse("https://qiita.com/ryonakao")
rank, _ := netsurfer.GetRank(u, "ryonakao", 2)

sample_HTML.go

import "github.com/ryonakao/netsurfer"
html, err := netsurfer.GetHTML("https://qiita.com/ryonakao")

もし使って頂き、不備等がございましたらお申し付け下さいませ。