はじめに
実務でログファイルや古い基幹システムのCSV、メール本文、Web APIのレスポンスを扱っていると、一度は以下のような文字化けに遭遇したことがあるのではないでしょうか。
縺ゅ>縺・♀㠂㠄㠆。「。、。ヲ- ExcelでCSVをダブルクリックして開いたら日本語がすべて謎の漢字や記号に変わった
しかも厄介なのは、「手元にあるのは文字化けしてしまった後の文字列(テキスト)だけで、元のファイルが手元にない」「社外秘の顧客名やログが含まれているため、外部サーバーで処理するオンラインツールには貼り付けられない」 というケースです。
本記事では、現場で頻出する日本語の文字化け5大パターンがなぜ起きるのか(16進数バイト列の仕組み)を紐解き、さらに壊れたテキストから元の日本語を逆算・解読するアルゴリズムと、ブラウザのメモリ内(外部送信ゼロ)で即座にテスト・復元できる方法について解説します。
1. なぜ「縺(もつ)」ばかり出てくるのか?(UTF-8 → Shift_JIS 誤読の正体)
日本語の文字化けで最も有名なのが 縺ゅ>縺・♀ のように「縺」という見慣れない漢字が大量に出現するパターンです。
これは、「UTF-8で保存された日本語(ひらがな)を、Shift_JIS(CP932)として解釈して開いたとき」 に必ず発生します。実際の16進数(HEX)バイト列で見てみましょう。
「あいうえお」を UTF-8 で表現した場合(1文字=3バイト)
UTF-8では、「あ〜ん」のひらがな1文字はすべて E3 81 XX または E3 82 XX という3バイトで始まります。
| 元の文字 | Unicode | UTF-8 バイト列(16進数) |
|---|---|---|
| あ | U+3042 | E3 81 82 |
| い | U+3044 | E3 81 84 |
| う | U+3046 | E3 81 86 |
| え | U+3048 | E3 81 88 |
| お | U+304A | E3 81 8A |
つまり、「あいうえお」のバイト列は以下の15バイトになります。
E3 81 82 E3 81 84 E3 81 86 E3 81 88 E3 81 8A
これを Shift_JIS(1文字=2バイト)として区切るとどうなるか?
Shift_JIS(Windows-31J / CP932)は、マルチバイト文字を先頭から2バイトずつペアにして読み取ります。
| 読み取り位置 | 2バイトの塊 | Shift_JIS (CP932) での文字 |
|---|---|---|
| 1〜2バイト目 | E3 81 |
縺(JIS第2水準漢字) |
| 3〜4バイト目 | 82 E3 |
ゅ |
| 5〜6バイト目 | 81 84 |
> |
| 7〜8バイト目 | E3 81 |
縺 |
| 9〜10バイト目 | 86 E3 |
・(未定義領域による中黒置換) |
| 11〜12バイト目 | 81 88 |
< または記号 |
| 13〜14バイト目 | E3 81 |
縺 |
| 15バイト目 | 8A |
(端数1バイト欠損) |
ご覧の通り、UTF-8のひらがなの先頭2バイトである E3 81 が、Shift_JISではちょうど「縺」の文字コードに該当するため、ひらがなが2文字続くたびに高確率で「縺」が出現するのです。
2. 現場で多発する「文字化け5大パターン」早見表
実は、文字化けの見た目(よく混じる特徴的な文字)を見るだけで、「本来どの文字コードだったものを、何として誤読したか」 をほぼ一発で特定できます。
| パターン | 文字化けの見た目例 | 本来の文字コード | 誤って解釈された文字コード | よく起きる原因 |
|---|---|---|---|---|
| ① 縺(もつ)系 |
縺ゅ>縺・♀ / 譁・ュ怜喧縺
|
UTF-8 | Shift_JIS (CP932) | UTF-8のCSVやテキストをBOMなしでExcelや古いエディタで開いた |
| ② アクサン記号系 |
㠂㠄 / 㠂㠄㠆
|
UTF-8 | ISO-8859-1 (Latin-1) | HTTPヘッダーやDB接続のcharset指定漏れで欧文1バイト扱いされた |
| ③ 半角カナ混入系 |
隴夲スイ隴夲スウ / 。「。、
|
UTF-8 / EUC-JP | Shift_JIS / EUC-JP | 古いUnix系サーバー(EUC-JP)とWindows環境(SJIS)の受け渡し |
| ④ 置換文字(豆腐)系 | `` (U+FFFD) |
Shift_JIS / EUC-JP | UTF-8 | Shift_JISのファイルをUTF-8固定のエディタ・スクリプトで読み込んだ |
| ⑤ 機種依存文字化け |
① ㈱ 髙 﨑 だけ ? に化ける |
CP932 (Windows-31J) | 標準 Shift_JIS | Windows拡張文字を厳密な標準Shift_JIS変換テーブルに通した |
⚠️ 注意点(復元できるケースとできないケース)
パターン①〜③のように、「誤った文字コードの文字として表示されているが、背後のバイト列が維持されている場合」は、逆変換(エンコードの巻き戻し)によって元の日本語に解読・復元が可能です。
一方、パターン④のようにすでにU+FFFD(``)や?(`0x3F`)として上書き保存されてしまったテキストは、元のバイト情報が失われているためテキスト単体からの逆算はできません(元ファイルのバイナリから読み直す必要があります)。
3. JavaScript で文字化けテキストを逆算・解読するアプローチ
たとえばパターン①(UTF-8のバイト列がShift_JISとして読まれてしまった文字列)をブラウザ内のJavaScriptで元の日本語に復元するには、「誤読されたプロセスをそのまま逆に辿る」 のが基本です。
- 化けている文字列(例:
縺ゅ>縺)を、誤読された側の文字コード(Shift_JIS / CP932)のバイト配列(Uint8Array) に戻す - そのバイト配列を、本来の文字コード(UTF-8)として
TextDecoderでデコードし直す
// 例:UTF-8がLatin-1 (ISO-8859-1) として誤読された「ã ‚ã „ã †」を逆算復元する関数
function recoverUtf8FromLatin1(mojibakeStr) {
// 1. 各文字のコードポイント(0x00〜0xFF)をそのまま1バイトずつ配列に戻す
const bytes = new Uint8Array(mojibakeStr.length);
for (let i = 0; i < mojibakeStr.length; i++) {
bytes[i] = mojibakeStr.charCodeAt(i) & 0xff;
}
// 2. 本来の UTF-8 としてデコードする
return new TextDecoder('utf-8', { fatal: false }).decode(bytes);
}
console.log(recoverUtf8FromLatin1('ã\x81\x82ã\x81\x84ã\x81\x86'));
// => "あいう"
実務で「どの組み合わせで化けたか分からない文字列」を解読する場合は、以下の5通りすべての逆変換候補を同時に走らせ、「復元結果の中に日本語(ひらがな・カタカナ・常用漢字)がどれだけ自然な割合で含まれているか」をスコアリングしてランキング表示すると、一瞬で正解の日本語を見つけることができます。
-
Shift_JIS (CP932) としてバイト化➔UTF-8 でデコード -
Latin-1 (ISO-8859-1) としてバイト化➔UTF-8 でデコード -
EUC-JP としてバイト化➔UTF-8 でデコード -
Shift_JIS (CP932) としてバイト化➔EUC-JP でデコード -
EUC-JP としてバイト化➔Shift_JIS (CP932) でデコード
4. Excelの「CSV文字化け問題」を根本解決する 3バイト(UTF-8 BOM)
エンジニアがUTF-8で出力したCSVを、非エンジニアの担当者がWindowsのExcelでダブルクリックして開き、「文字化けしています!」と差し戻される問題も定番です。
これは、ファイルの先頭に 3バイトの BOM(Byte Order Mark: EF BB BF)を付与した UTF-8 にするだけで解決します。
// JavaScript(ブラウザ内)でExcelでも文字化けしないBOM付きUTF-8 CSVを生成する例
function downloadExcelSafeCsv(csvText, filename = 'export.csv') {
const bom = new Uint8Array([0xef, 0xbb, 0xbf]); // UTF-8 BOM (EF BB BF)
const blob = new Blob([bom, csvText], { type: 'text/csv;charset=utf-8;' });
const url = URL.createObjectURL(blob);
const a = document.createElement('a');
a.href = url;
a.download = filename;
a.click();
URL.revokeObjectURL(url);
}
逆に、Linuxのシェルスクリプトや一部のJSON/CSVパーサーに食わせる際に先頭の EF BB BF(\uFEFF)が邪魔になる場合は、BOMを除去して保存する必要があります。
5. ブラウザ内(外部送信ゼロ)で文字化け解読・文字コード変換ができるツールを作りました
実務で文字化けしたログや顧客CSVを扱う際、「セキュリティ規定上、外部サーバーにデータを送信するWebツールは使えない」 という課題を解決するため、100%ブラウザ内のJavaScriptメモリ上だけで動作する『文字コード & 文字化け Converter』 を開発し、無料で公開しています。
🔗 ツール本体(インストール・登録不要)
👉 文字コード & 文字化け Converter|Shamoji DRIVE
📖 詳しい仕組み・使い方ガイド
👉 文字化け変換・解読・文字化けテスター 使い方ガイド
主な特徴
-
文字化け自動逆算シミュレーター(文字化けテスター)
-
縺ゅ>縺や㠂などの化けたテキストを貼り付けるだけで、5大誤読パターンをリアルタイム逆算し、日本語スコアの高い順に解読候補を一覧表示します。
-
-
UTF-8(BOM有無ワンクリック切替)/ Shift_JIS (CP932) / EUC-JP の相互ファイル変換
- Excelで文字化けしない「BOM付きUTF-8 CSV」への一発変換や、銀行・基幹システム向けの「CP932(①・㈱・髙・﨑などの機種依存文字完全対応)」「EUC-JP」へのトランスコードに対応しています。
-
文字別の16進数(HEX)バイナリ比較 & レガシーURLエンコード(%XX)
- 1文字ずつUTF-8 / Shift_JIS / EUC-JP / Unicodeコードポイントのバイト列を並べて比較できるほか、Shift_JISベースのURLパーセントエンコード検証も可能です。
-
完全クライアントサイド処理(外部通信ゼロ・オフラインPWA対応)
- 入力したテキストやドロップしたCSVファイルは外部サーバーへ1バイトも送信されないため、社外秘のログやデータでも安全に処理できます。
このほかにも、Shamoji DRIVE DevTools Suite では JSON自動修復、コードDiff、DNS/SPF/DMARC監査、電子回路計算など33種類のブラウザ完結ツールを公開していますので、日々の開発やトラブルシューティングのお供にぜひ活用してみてください!
📚 関連する技術記事・発信メディア
- Zenn(アーキテクチャ・Vue 3開発解説): https://zenn.dev/t_shamoji
- note(ものづくり・HobbyCAD活用ガイド): https://note.com/t_shamoji
- YouTube(コーディング・作業用BGV『Aetheria Phantom Cruise』): https://www.youtube.com/@AetheriaPhantomCruise
- Shamoji DRIVE 公式サイト: https://shamoji-drive.com/