1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

BOM撲滅への道

1
Last updated at Posted at 2026-08-25

宣誓

わたしたちエンジニアの作業を著しく混乱させる BOM 付き UTF8 は諸悪の根源であります。BOM 付き UTF8 との共存は極めて難しいと言わざるを得ない。われわれは戦う。BOM 付き UTF8 が世界から根絶されるその日まで。

発見と除去

Emacs はどんな環境でもインストールされているとは限らないため、Emacs に頼り切るのは危険です。Emacs が裏でどんなコマンドを使っているのかを、知っておくことは重要です。また、普段は Emacs を使うで良いですが、使用できない環境で作業することを踏まえ、標準的なエディタ vi もきちんと使えるようにしておきましょう。
ここではターミナルで標準的なコマンドを使う方法を示します。

$ od -N 4 -tx1 input.txt

ファイルの先頭部分 4 バイトを 16 進ダンプします。
最初の 3 バイトが ef bb bf ならば BOM 付き UTF8 です。

$ sed '1s/^\xEF\xBB\xBF//' input.txt > output.txt

sed コマンドで BOM を除去します。
上書きするオプションは使わないほうが良いでしょう。破壊的な操作は控えたほうが無難です。

また、

$ cp -p file.txt file.bak

このように作業前にファイルをバックアップし、ミスした時のためにリカバリーポイントを作成しておくクセを付けることも重要です。

$ rm file.bak

作業ミスしてないことが確認できたら、バックアップファイルはきちんと消しましょう。残したままにするのはいけません。

予防(1)

基本メモ帳は使用しない。現在はデフォルトで BOM 付き UTF8 として保存することは無いですが、「名前を付けて保存」するときに、下部にある「エンコード」で「UTF-8 (BOM付き)」は絶対に選ばないでください。
特に、エンジニアと違い事務方の人々はメモ帳を使いがちです。Windows 標準アプリなので仕方ないことではありますが。事務方の人からもらった CSV ファイル等は特に注意が必要です。

予防(2)

C# のファイル出力の API 仕様の問題によって BOM が付く可能性があります。注意してください。

using System.IO;
using System.Text;

string text = "こんにちは";

using (StreamWriter writer = new StreamWriter(
    "output.txt",
    false,
    new UTF8Encoding(false)))
{
    writer.Write(text);
}

普段はこのようにエンコード指定で BOM なしを必ず指定してください。
特に注意して欲しいのは「Encoding.UTF8」です。以下の表を見てください。

書き方 BOM
File.WriteAllText(path, text) なし
File.WriteAllText(path, text, new UTF8Encoding()) なし
File.WriteAllText(path, text, new UTF8Encoding(false)) なし
File.WriteAllText(path, text, new UTF8Encoding(true)) あり
File.WriteAllText(path, text, Encoding.UTF8) あり

「Encoding.UTF8」と書くと BOM ありファイルを作ります。

予防(3)

cat コマンドは BOM を除去しません。BOM あり UTF8 のファイルを

$ cat input1.txt input2.txt input3.txt > output.txt

のようにすると、ファイルのあちこちに BOM が混入するという最悪の事態に陥ります。しかも BOM の問題が発覚するのはずっと後です。cat コマンドを実行した時点で気づくことはまずありません。このように BOM の問題は潜在化し、切羽詰まった局面で大問題として発覚することになります。もはやウィルスと言っても過言ではありません!
普段から BOM 付きファイルが混入しないよう、細心の注意を払ってください。

まとめ

BOM を発見および除去する方法と、予防策について解説しました。
「BOM のせいで数日間が無駄になった!」(経験者談)
のような事にならないことをお祈りしつつ、終わりたいと思います。
共に BOM と戦いましょう!

1
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?