More than 5 years have passed since last update.

CSVの文字化け対策

Posted at 2015-11-08

概要

RubyでCSVを扱うとき、文字化けなど種々の問題にしばしば遭遇するので、その都度行った対策のまとめ。

エクセルで作ったcsvは文字コードがShiftJSになっている。
そのCSVをRubyでそのまま読み込むと文字化けしているので、文字コードをUTF-8にする。

逆に、Rubyで生成したCSVをエクセルで開こうとすると文字化けするので、ShiftJSに変換する。

具体的には、nkfコマンドでUTF-8に変換する。

$ nkf -g sample.csv
# 当該ファイルの文字コードを見る
# Shift JS

$ nkf -w --overwrite sample.csv
# UTF-8に変換する

$ nkf -g sample.csv
# UTF-8

nkfコマンドが使えない場合は、

$ brew install nkf

でインストールできる(homebrewを使っている場合)。

Rubyやvimで開くと改行コードの

^M

がそのまま文字として出ていることがある。
そういうときはこれを置換する。

具体的には当該csvをvimで開いて、

:%s/^M/^M/g

として置換する。^Mは、

ふつうにエクセルで改行を消す関数があるのでそれで消す。

どれだけ対策しても、対策しきれない特殊な文字もある（キリル文字とか）。
そういうときは思い切って、エラーが出ている行だけ直接、CSVを編集しみる。
そうすると、それで他の行は問題なく通るということがある。