はじめに

※この記事は「LTSグループAdvent Calendar 2023」に参加しています。

私がChatGPTにPythonのコード生成を依頼した際、csvファイルの出力におけるエンコーディングとして、しばしばUTF-8-SIGの使用が推奨されます。UTF-8を使用するとExcelで開いた際に文字化けが起こることがありますが、UTF-8-SIGを使うとその問題が解消されることに気づきました。この経験から、UTF-8-SIGの信頼性とその利点について、備忘録としてまとめてみることにしました。

当たり障りのない結論

UTF-8-SIGは、特定の環境とニーズに非常に合致するエンコーディング方式ですが、その特性を深く理解し、適切な状況で使い分けることが重要です。

そもそもエンコーディングとは何か？

エンコーディングとは、人間が理解する文字や記号をコンピュータが処理できるバイナリ形式に変換する方法です。世界には多様な言語があり、それぞれの文字をデジタル化するために様々なエンコーディング方式が開発されています。ASCII、ISO-8859-1、UTF-8、UTF-16など、さまざまな方式があり、それぞれに利点と制限があります。

UTF-8とは何か？

UTF-8は、国際的な文字エンコーディング標準の一つで、世界中のほぼ全ての文字を表現できます。この柔軟性と拡張性により、UTF-8はウェブ開発やソフトウェアの国際化において非常に人気があるようです（実際私の入っている開発PJでも標準エンコーディングとなっています）。UTF-8は可変長エンコーディング方式を採用しており、一般的なASCII文字に対しては1バイトを使用し、それ以外の文字に対しては最大4バイトを使用します。

UTF-8-SIGとは何か？

UTF-8-SIGは、通常のUTF-8エンコーディングの一種で、ファイルの最初にBOMと呼ばれる特別なシーケンスが含まれています。

BOMとは何か？

BOM（Byte Order Mark）とは、テキストファイルの先頭に配置される特定のバイトシーケンスで、主にファイルのエンコーディング形式とバイト順（エンディアン）を識別するために使われます。UTF-8のBOMは、16進数で EF BB BF と表されます。これは、バイナリ形式では 11101111 10111011 10111111 となります。これらのバイトは、テキストファイルの最初に配置され、ファイルがUTF-8でエンコードされていることを示します。

BOM付きとBOM無しの違い

BOM付きUTF-8（すなわちUTF-8-SIG）は、ファイルの先頭にBOMを含むことで、そのファイルがUTF-8であることを示します。これに対し、BOM無しUTF-8はファイルの先頭にBOMを含まず、よりシンプルで広く普及している形式です。BOMの有無は、特にファイルを開くソフトウェアによって、異なる動作を引き起こす可能性があります。

BOM付きが有用な場合

BOM付きのUTF-8-SIGは、特にMicrosoftの製品、例えばExcelでの使用に適しています。Excelなどの一部のソフトウェアは、BOMを使用してテキストファイルがUTF-8でエンコードされていることを認識し、適切に表示します。これは、文字化けを防ぐのに特に効果的です。

BOMなしが有用な場合

一方で、ウェブ開発やUNIX系のシステムでは、BOMなしのUTF-8が一般的に推奨されます。BOMがあると、ウェブブラウザや一部のテキストエディタ、プログラミング言語のコンパイラなどがファイルの内容を正しく解釈できないことがあります。特に、HTMLやCSSファイルでBOMが存在すると、ページの表示に影響を及ぼす可能性があります。

おまけ

Windowsのメモ帳でテキストファイルを保存すると、自動的にBOMが付加されます。

参考

https://qiita.com/mitsutoyo32104/items/76335bb6e783d55f311c
https://qiita.com/showmurai/items/60d32006d13512ffeaff