Golang sync.WaitGroupとsemaphoreを使って10並列で画像ダウンロード

sync.WaitGroupとsemaphoreを使って10並列で画像ダウンロードするサンプルスクリプトです。
並列実行数が10を超過しないように、semaphoreを使っています。便利です
sync.semaphore の実装を読んでみると面白いですよ

golang.org/x/sync/semaphoreを使ってゴルーチンの同時実行数を制御する を参考にしつつ実装してみました

main.go

package main

import (
	"context"
	"fmt"
	"io"
	"net/http"
	"os"
	"sync"

	"golang.org/x/sync/semaphore"
)

var wg *sync.WaitGroup
var sm = semaphore.NewWeighted(10) // 10並列で取得
var maxPage = 50                   // 最大ページ取得数

// main 実行方法: GO111MODULE=off go run main.go
func main() {
	// 検索元: https://www.jisc.go.jp/app/jis/general/GnrJISSearch.html
	target := map[string]string{
		"X0001": "kAIAALDEpH2u0O895seN",
		"X0002": "UQMAALzrEixtvmtcZ4zt",
		"X0003": "VAMAACJ6MCttlyDSqCTz",
	}

	for name, pageUrl := range target {
		if pageUrl == "" {
			continue
		}
		download(name, pageUrl, maxPage)
	}
}

func download(name string, pageUrl string, maxPage int) {
	wg = &sync.WaitGroup{}
	makeDir(fmt.Sprintf("page/%s", name))
	for i := 1; i <= maxPage; i++ {
		wg.Add(1)
		go getImage(name, pageUrl, uint(i))
	}
	wg.Wait()
}

func makeDir(path string) {
	os.Mkdir(path, 0777)
}

func getImage(name string, pageUrl string, page uint) {
	defer wg.Done()
	// 並列実行数を制御
	if err := sm.Acquire(context.Background(), 1); err != nil { // 指定した同時実行数制限smから1つ実行権限を取得。上限に達していて取得できない場合は、取得でき次第、実行を開始
		fmt.Println(fmt.Sprintf("sm.Acquire(ctx, 1) error. err: %+v", err))
		return
	}
	defer sm.Release(1) // 最後にsm実行権限枠を1つ空ける

	sb := map[string]string{
		"X0001": "pdfb2",
		"X0002": "pdfa7",
		"X0003": "pdfb5",
	}
	serverName, _ := sb[name]

	// https://www.jisc.go.jp/pdfb5/PDFView/GetImage/VAMAACJ6MCttlyDSqCTz?pageNo=1&width=1200&seq=0
	urlBase := "https://www.jisc.go.jp/%s/PDFView/GetImage/%s?pageNo=%d&width=1200&seq=0"
	url := fmt.Sprintf(urlBase, serverName, pageUrl, page)
	fmt.Println(fmt.Sprintf("[+]start PagetNo.%d url:%s", page, url))
	// 画像データ取得と取得結果をHTTP Statusで振り分け
	response, err := http.Get(url)
	if err != nil {
		return
	}
	if response.StatusCode >= 300 {
		return // HTTP Statusが300以上で取得失敗
	}
	defer response.Body.Close()

	// 画像ファイル保存
	filePath := fmt.Sprintf("./page/%s/%d.png", name, page)
	file, err := os.Create(filePath)
	if err != nil {
		return
	}
	defer file.Close()

	io.Copy(file, response.Body)
}

実行結果