4
3

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 3 years have passed since last update.

【Python】ファイルの文字コードを自動判定して変換する

Last updated at Posted at 2021-06-19

「CSVファイルを開いたら変な風に表示されるんだけど(キレ気味)」

 という問い合わせを情シスやサポートチームの方は受けたことあります(断言)
Windows環境のExcel(文字コード:Shift_JIS)で別のアプリケーションなどから出力されたCSVファイル(文字コード:UTF-8)を開いたために文字化けすることは"あるある"ではないでしょうか。

対処方法はいろいろあると思いますが、Pythonを学び始めたのでPythonで一気にファイルの文字コードを変更したいと思い調べたら、非常にわかりやすいコードがあったので備忘録として残しておこうと思います。

やりたいこと

  • Shift_JISのファイルからUTF-8のファイルに変換したい
  • 自動的にオリジナルファイルの文字コードを識別したい

バージョン

  • Python 3.7.6
  • chardet 3.0.4

コード

import os
from chardet import detect

srcfile = './sample_sjis.csv'
trgfile = './sample_utf8.csv'

to_codec = 'utf-8'


# get file encoding typ
def get_encoding_type(file):
    with open(file, 'rb') as f:
        rawdata = f.read()
    return detect(rawdata)['encoding']


from_codec = get_encoding_type(srcfile)

# add try: except block for reliability
try:
    with open(srcfile, 'r', encoding=from_codec) as f, open(trgfile, 'w', encoding=to_codec) as e:
        text = f.read()  # for small files, for big use chunks
        e.write(text)

    os.remove(srcfile)  # remove old encoding file
    os.rename(trgfile, srcfile)  # rename new encoding
except UnicodeDecodeError:
    print('Decode Error')
except UnicodeEncodeError:
    print('Encode Error')

参考:How to convert a file to utf-8 in Python?

備考1

冒頭の部分は自分が付け足しています。

# srcfile:対象のファイルパス trgfile:変換&生成されるファイルパス
srcfile = './sample_sjis.csv'
trgfile = './sample_utf8.csv'

# 変換後の文字コードを指定(今回の場合は、「utf-8」)
to_codec = 'utf-8'

備考2

少し大きめのファイルであれば22行目のreadでチャンクを指定してあげてもいいと思います。どのくらいが適切なのかはまだ素人の自分にはわかりませんが...

text = f.read()

備考3

こちらでは、古いファイルは削除されて、変換された新しいファイルを古いファイル名に変更していますね。もし両方を残しておきたい場合はコメントアウトしておくのがいいかと。

os.remove(srcfile)  # remove old encoding file
os.rename(trgfile, srcfile)  # rename new encoding

備考4

参考ページには他の方のコードもあるので、そちらも一見の価値があります!!


ではでは、よいPythonライフを!


4
3
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
4
3

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?