宣誓
わたしたちエンジニアの作業を著しく混乱させる BOM 付き UTF8 は諸悪の根源であります。BOM 付き UTF8 との共存は極めて難しいと言わざるを得ない。われわれは戦う。BOM 付き UTF8 が世界から根絶されるその日まで。
発見と除去
Emacs はどんな環境でもインストールされているとは限らないため、Emacs に頼り切るのは危険です。Emacs が裏でどんなコマンドを使っているのかを、知っておくことは重要です。また、普段は Emacs を使うで良いですが、使用できない環境で作業することを踏まえ、標準的なエディタ vi もきちんと使えるようにしておきましょう。
ここではターミナルで標準的なコマンドを使う方法を示します。
$ od -N 4 -tx1 input.txt
ファイルの先頭部分 4 バイトを 16 進ダンプします。
最初の 3 バイトが ef bb bf ならば BOM 付き UTF8 です。
$ sed '1s/^\xEF\xBB\xBF//' input.txt > output.txt
sed コマンドで BOM を除去します。
上書きするオプションは使わないほうが良いでしょう。破壊的な操作は控えたほうが無難です。
また、
$ cp -p file.txt file.bak
このように作業前にファイルをバックアップし、ミスした時のためにリカバリーポイントを作成しておくクセを付けることも重要です。
$ rm file.bak
作業ミスしてないことが確認できたら、バックアップファイルはきちんと消しましょう。残したままにするのはいけません。
予防(1)
基本メモ帳は使用しない。現在はデフォルトで BOM 付き UTF8 として保存することは無いですが、「名前を付けて保存」するときに、下部にある「エンコード」で「UTF-8 (BOM付き)」は絶対に選ばないでください。
特に、エンジニアと違い事務方の人々はメモ帳を使いがちです。Windows 標準アプリなので仕方ないことではありますが。事務方の人からもらった CSV ファイル等は特に注意が必要です。
予防(2)
C# のファイル出力の API 仕様の問題によって BOM が付く可能性があります。注意してください。
using System.IO;
using System.Text;
string text = "こんにちは";
using (StreamWriter writer = new StreamWriter(
"output.txt",
false,
new UTF8Encoding(false)))
{
writer.Write(text);
}
普段はこのようにエンコード指定で BOM なしを必ず指定してください。
特に注意して欲しいのは「Encoding.UTF8」です。以下の表を見てください。
| 書き方 | BOM |
|---|---|
File.WriteAllText(path, text) |
なし |
File.WriteAllText(path, text, new UTF8Encoding()) |
なし |
File.WriteAllText(path, text, new UTF8Encoding(false)) |
なし |
File.WriteAllText(path, text, new UTF8Encoding(true)) |
あり |
File.WriteAllText(path, text, Encoding.UTF8) |
あり |
「Encoding.UTF8」と書くと BOM ありファイルを作ります。
予防(3)
cat コマンドは BOM を除去しません。BOM あり UTF8 のファイルを
$ cat input1.txt input2.txt input3.txt > output.txt
のようにすると、ファイルのあちこちに BOM が混入するという最悪の事態に陥ります。しかも BOM の問題が発覚するのはずっと後です。cat コマンドを実行した時点で気づくことはまずありません。このように BOM の問題は潜在化し、切羽詰まった局面で大問題として発覚することになります。もはやウィルスと言っても過言ではありません!
普段から BOM 付きファイルが混入しないよう、細心の注意を払ってください。
まとめ
BOM を発見および除去する方法と、予防策について解説しました。
「BOM のせいで数日間が無駄になった!」(経験者談)
のような事にならないことをお祈りしつつ、終わりたいと思います。
共に BOM と戦いましょう!