Python
UTF-8
python3
Shift_JIS

Shift_JISで書かれたファイルをUTF-8に変換

問題

Python使用時に発生した.
このエラー文 ↓

UnicodeDecodeError: 'utf-8' codec can't decode byte 0x82 in position 0: invalid start byte

対処

  • nkfコマンドでUTF-8に変換した.

インストール

まずはnkfをインストールする必要がある.

  • centOSなら
yum -y install nkf
  • Ubuntuなら
sudo apt-get install nkf

使用

  • 文字コードの確認
nkf -g sample.txt
  • 文字コードの変更
nkf -w --overwrite sample.txt
オプション 文字コード
-w UTF-8
-j JIS
-s Shift_JIS
-e EUC

※ --overwriteは上書きするという意味.別ファイルにしたい場合はリダイレクトする.

nkf -w sample.txt > sample.utf

ワイルドカード指定して,too many open files.と言われたとき.

確認

ulimit -n 
1024

変更

ulimit -n 2048 ←お好きな数字