本の新刊データをJSONで取得できるようにする。

はじめに

　コミックやラノベの新刊データ取得で、JSON形式で無料で取得しようとするAPIが見つからなかったので、ゲーム、アニメ、CD発売日一覧というサイトからスクレイピングして、JSONで出力するようなプログラムを作る

プログラム概要

ゲーム、アニメ、CD発売日一覧というサイトから、
新刊の発売日、名称、作者、画像が引っ張ってこれるので、これらのデータをJSONで出力するようにする
また、実行結果は標準出力するようにする。

プログラム内容

calendarscriping.go

package main

import (
    "fmt"
    "strings"

    "github.com/PuerkitoBio/goquery"
)

type BookList struct {
    Type   string `json:type`
    Months string `json:months`
    Days   string `json:days`
    Img    string `json:img`
    Title  string `json:title`
    Writer string `json:writer`
    Bround string `json:bround`
    Ext    string `json:ext`
}

const (
    BOOKURL      string = "https://calendar.gameiroiro.com/"
    COMICURL     string = "manga.php"
    LITENOVELURL string = "litenovel.php"
    MAGAZINEURL  string = "magazine.php"
)
const (
    COMIC     = 0
    LITENOVEL = 1
    MAGAZINE  = 2
)

func GetComicList(year, month string, booktype int) []BookList {
    var output []BookList
    mounth_tmp := month

    url := BOOKURL
    switch booktype {
    case COMIC:
        url += COMICURL
    case LITENOVEL:
        url += LITENOVELURL
    case MAGAZINE:
        url += MAGAZINEURL
    }
    if (year != "") && (month != "") {
        url += "?year=" + year + "&month=" + month
    }
    doc, err := goquery.NewDocument(url)
    if err != nil {
        fmt.Println(err.Error())
        return output
    }

    if mounth_tmp == "" {
        mounth_tmp, _ = doc.Find("input.month").Attr("value")
    }
    doc.Find("div#content-inner").Each(func(i int, s *goquery.Selection) {
        s.Find("tr").Each(func(j int, ss *goquery.Selection) {
            days := ss.Find("td.day-td").Text()
            ss.Find("div.div-wrap").Each(func(k int, sss *goquery.Selection) {
                var tmp BookList
                tmp.Days = days
                tmp.Months = mounth_tmp
                sss.Find("div.product-image-left").Each(func(l int, image *goquery.Selection) {
                    tmp.Img, _ = image.Find("img").Attr("src")
                })
                sss.Find("div.product-description-right").Each(func(k int, data *goquery.Selection) {
                    tmp.Type = strings.TrimSpace(data.Find("p.p-genre").Text())
                    tmp.Title = strings.TrimSpace(data.Find("a").Text())
                    data.Find("p.p-company").Each(func(i int, data2 *goquery.Selection) {
                        if tmp.Bround == "" {
                            tmp.Bround = strings.TrimSpace(data2.Text())
                        } else if tmp.Writer == "" {
                            tmp.Writer = strings.TrimSpace(data2.Text())
                        } else if tmp.Ext == "" {
                            tmp.Ext = strings.TrimSpace(data2.Text())
                        } else {
                            tmp.Ext += "," + strings.TrimSpace(data2.Text())
                        }

                    })
                })
                output = append(output, tmp)
            })

        })
    })
    return output
}

main.go

package main
import (
    "fmt"
)
func main(){
    fmt.Println(GetComicList("", "", COMIC))
}

実行すると、今月のコミックスの取得結果がJSONで得られる

まとめ

これらのプログラムを応用して、WebAPIにするとブラウザ処理が楽になる。
また、SQLサーバと連携して、ローカルにキャッシュを持つことで高速化や
細かい出力に変更できるように改造すると楽になる。