Goでファイルのバルクダウンロード

GoでHTTPリクエストでファイルをバルクダウンロードするスニペット

仕様

ダウンロードするファイルのURL一覧を渡すと、発生したエラー回数を返す。

• downloadの際に、エラーが発生した際のリトライ回数の制御: maxAttempts
• サーバーへの同時接続数をセマフォで制御: maxConcurrents

コード

package download

import (
	"io"
	"log"
	"net/http"
	"os"
	"path"
	"sync"
	"sync/atomic"
)

const (
	maxConcurrents = 64
	maxAttempts    = 4
)

var output = "path/to/dir"

func Do(list []string) int64 {
	var wg sync.WaitGroup
	var sem = make(chan struct{}, maxConcurrents)

	var errCounts int64
	for _, v := range list {
		wg.Add(1)
		go func(target string) {
			defer wg.Done()

			var err error
			for i := 0; i < maxAttempts; i++ {
				sem <- struct{}{}
				err = download(target)
				<-sem
				if err == nil {
					break
				}
			}
			if err != nil {
				atomic.AddInt64(&errCounts, 1)
				log.Printf("Failed to download: %s", err)
			}
		}(v)
	}
	wg.Wait()

	return errCounts
}

func download(target string) error {
	resp, err := http.Get(target)
	if err != nil {
		return err
	}
	defer resp.Body.Close()

	_, fileName := path.Split(target)
	file, err := os.Create(path.Join(output, fileName))
	if err != nil {
		return err
	}

	_, err = io.Copy(file, resp.Body)
	if closeErr := file.Close(); err == nil {
		err = closeErr
	}
	return err
}

制御出来ていないところ

• httpクライアントを変更できない。

• goroutineの数は、maxConcurrents以上に増える。
  c.f. http://blog.kaneshin.co/entry/2016/08/18/190435

• ステータスコード毎のリトライロジック。

  • 4xx (Client Error)が返ってきた際は、リトライせずにスキップ
  • 5xx が返ってきた際は、Back-offを設定出来るとより良い

おまけ

簡易的には上のスニペットで、問題ないかと思いますが、
上記の3点もカバーした、worker型でファイルダウンロードするライブラリも書きました。
https://github.com/yyoshiki41/parallel-dl