LinuxまたはMacなどUNIX OSにおけるutf-8, shiftJISなどのエンコードを変換するコマンドを紹介します。
まずは、ファイルのエンコードを確認します。
nkf -g ファイル名
要変換の場合、例えば、以下のコマンドでcsvファイルのフォマットをUTF-8に一括変換できます。
nkf -w *.csv
他のオプションを以下を参照ください。
-b バッファリング出力を行う
-u 出力時にバッファリングを行わない
-j JISコードに変換する
-e EUCコードに変換する
-s シフトJISコードに変換する
-w UTF8コードに変換する
-i? JIS漢字を指示するシーケンスとして ESC-'$'-?を使用する
-o? 1バイト英数文字セットを指示するシーケンスとしてESC-'('-?を使用する
-r ROT13/47の変換する
-T テキスト・モードで出力する
-l 0x80-0xfeのコードをISO-8859-1 (Latin-1)として扱う。ただし，JISコードの時のみ有効
-f? 一行?文字になるように簡単な整形を行う
-Z X0208中の英数字と一部の記号をASCIIに変換する
-J JIS(ISO-2022-JP)と仮定して処理する
-E 日本語EUCと仮定して処理する
-S シフトJISと仮定して処理する
-X シフトJISと仮定して処理する。ただし，X0201仮名があるものとする
-B 壊れた（ESCが欠損した）JISと仮定して処理する。-B1の場合はESC-(およびESC-$)のあとのコードを問わない。-B2の場合は改行の後に強制的にASCIIに戻す
-x 通常行われるX0201仮名->X0208の仮名変換しない
file 変換元のファイルを指定する