Go言語: SJISのCSVを読み込みながら1行毎に処理を実行する

この記事のゴール

• SJISのCSVを読み込みながら1行毎に処理を実行できるようになる

1行毎に処理したい理由

大きなCSVを処理するときに、全行読み込んでスライスにためるとメモリをたくさん使うため、1行ごとに処理を行うようにする

コード

前回の「Go言語:SJISのCSVファイルを読み込む!」でSJISのCSVを読み込む方法を説明した。そこで紹介したコードをベースに、1行ごとに逐次処理できるようにCSV読み込み処理を関数にする。

実装方法はいろいろあるが、コールバック関数を渡して、1行毎にそのコールバック関数を呼ぶような実装にした:

main.go

package main

import (
    "encoding/csv"
    iconv "github.com/djimenez/iconv-go"
    "io"
    "log"
    "os"
)

func failOnError(err error) {
    if err != nil {
        log.Fatal("Error:", err)
    }
}

func main() {
    filename := "/tmp/chibashi-sjis.csv"
    callbak := func(record []string) {
        log.Println("ここで逐次処理")
        log.Printf("%#v", record)
    }

    err := ReadCsv(filename, callbak)
    failOnError(err)
}

func ReadCsv(filename string, callback func(record []string)) error {
    file, err := os.Open(filename)
    if err != nil {
        return err
    }
    defer file.Close()

    converter, err := iconv.NewReader(file, "sjis", "utf-8")
    if err != nil {
        return err
    }

    reader := csv.NewReader(converter)

    for {
        record, err := reader.Read() // 1行読み出す
        if err == io.EOF {
            break
        } else if err != nil {
            return err
        }

        callback(record)
    }

    return nil
}

実行結果

2013/12/18 19:14:56 ここで逐次処理
2013/12/18 19:14:56 []string{"区", "男性人口", "女性人口"}
2013/12/18 19:14:56 ここで逐次処理
2013/12/18 19:14:56 []string{"中央区", "202,213", "102,080"}
2013/12/18 19:14:56 ここで逐次処理
2013/12/18 19:14:56 []string{"花見川区", "179,698", "89,369"}
2013/12/18 19:14:56 ここで逐次処理
2013/12/18 19:14:56 []string{"稲毛区", "156,612", "78,199"}
2013/12/18 19:14:56 ここで逐次処理
2013/12/18 19:14:56 []string{"若葉区", "151,165", "76,159"}
2013/12/18 19:14:56 ここで逐次処理
2013/12/18 19:14:56 []string{"緑区", "125,956", "62,042"}
2013/12/18 19:14:56 ここで逐次処理
2013/12/18 19:14:56 []string{"美浜区", "148,951", "72,806"}