TSV,CSVファイルを読込んでみる

Shift_JISで書かれたtsvファイルの読込み処理をGOで書いてみました。

iconv-go を利用してみる[失敗編]

UTF-8で記述されたtsv/csvファイルを読込む場合、encoding/csvのみで対応できるのであるが、Shift_JISで記述されている場合、そのままだと文字化けを起こしてしまう。
そこで、パッケージを利用したのですが、うまくいかなかったた。

main.go

package main

import (
    "encoding/csv"
    "io"
    "os"

    iconv "github.com/djimenez/iconv-go"
)


func main() {
    file, err := os.Open("XXXX.tsv")
    if err != nil {
        panic(err)
    }
    defer file.Close()

    // shif-jisの場合には以下の処理を追加
    converter, err := iconv.NewReader(file, "sjis", "utf-8")
    if err != nil {
        panic(err)
    }

    //reader := csv.NewReader(file)
    reader := csv.NewReader(converter)

    // デリミタ設定(TSVなら\t, CSVなら,)
    reader.Comma = '\t'

    // コメント設定(コメント文字を指定)
    reader.Comment = '#'

    // ダブルクオートを厳密にチェックしない
    reader.LazyQuotes = true

    var line []string

    for {
        line, err = reader.Read() // 1行読み出し
        if err == io.EOF {
            break
        } else if err != nil {
            fmt.Println("読み込みエラー: ", line)
            panic(err)
        }

        // ここに処理を追記する
    }
}

エラー内容

なぜか、TSVファイルの15行目を読込むと、以下のエラーが発生する。
panic: The storage control blocks were destroyed.

15行目の内容を削除し、1行詰めても同じ場所でエラーが発生する。
原因が不明だったためパッケージを変更することに。

text/transform を利用してみる[成功編]

main.go

package main

import (
    "encoding/csv"
    "io"
    "os"

    "golang.org/x/text/encoding/japanese"
    "golang.org/x/text/transform"
)

func main() {
    file, err := os.Open("XXXX.tsv")
    if err != nil {
        panic(err)
    }
    defer file.Close()

    // shif-jisの場合には以下の処理を追加
    converter := transform.NewReader(file, japanese.ShiftJIS.NewDecoder())

    //reader := csv.NewReader(file) // 取込ファイルがUTF8の場合、こっち
    reader := csv.NewReader(converter)

    // デリミタ設定(TSVなら\t, CSVなら,)
    reader.Comma = '\t'

    // コメント設定(コメント文字を指定)
    reader.Comment = '#'

    // ダブルクオートを厳密にチェックしない
    reader.LazyQuotes = true

    var line []string

    for {
        line, err = reader.Read() // 1行読み出し
        if err == io.EOF {
            break
        } else if err != nil {
            fmt.Println("読み込みエラー: ", line)
            panic(err)
        }

        // ここに処理を追記する
    }
}

こちらの方法だと問題なくtsvファイルを読込めた。