UTF-8 と SHIFT JIS で文字コードのバイト列が同じだと、機械的な単純判定では区別がつきません。そのパターンを CP932 と Unicode の変換表(unicode.org より) から作り、サンプルとして良さそうなものを選んでみました。
UTF-8 判定された文字列
ぐぁ ぐあ ぐぃ ぐい ぐぅ ぐう ぐぇ ぐえ ぐぉ ぐお
ぐか ぐが ぐき ぐぎ ぐく ぐぐ ぐけ ぐげ ぐこ ぐご
ぐさ ぐざ ぐし ぐじ ぐす ぐず ぐせ ぐぜ ぐそ ぐぞ
ぐた ぐだ ぐち ぐぢ ぐっ ぐつ ぐづ ぐて ぐで ぐと
ぐど ぐな ぐに ぐぬ ぐへ ぐべ ぐぺ ぐほ ぐぼ ぐぽ
ぐま ぐみ ぐめ ぐも ぐゃ ぐや ぐゅ ぐゆ ぐょ ぐよ
ぐら ぐり ぐる ぐれ ぐろ
ぐゎ ぐわ ぐゐ ぐゑ ぐを
ぐん
このテキストを保存する場合は、文字コードを UTF-8 としてください。
SHIFT JIS 判定された文字列
縺舌＝ 縺舌≠ 縺舌＜ 縺舌＞ 縺舌≦ 縺舌≧ 縺舌∞ 縺舌∴ 縺舌♂ 縺舌♀
縺舌° 縺舌′ 縺舌″ 縺舌℃ 縺舌￥ 縺舌＄ 縺舌¢ 縺舌£ 縺舌％ 縺舌＃
縺舌＆ 縺舌＊ 縺舌＠ 縺舌§ 縺舌☆ 縺舌★ 縺舌○ 縺舌● 縺舌◎ 縺舌◇
縺舌◆ 縺舌□ 縺舌■ 縺舌△ 縺舌▲ 縺舌▽ 縺舌▼ 縺舌※ 縺舌〒 縺舌→
縺舌← 縺舌↑ 縺舌↓ 縺舌〓 縺舌∈ 縺舌∋ 縺舌⊆ 縺舌⊇ 縺舌⊂ 縺舌⊃
縺舌∪ 縺舌∩ 縺舌ａ 縺舌ｂ 縺舌ｃ 縺舌ｄ 縺舌ｅ 縺舌ｆ 縺舌ｇ 縺舌ｈ
縺舌ｉ 縺舌ｊ 縺舌ｋ 縺舌ｌ 縺舌ｍ
縺舌ｎ 縺舌ｏ 縺舌ｐ 縺舌ｑ 縺舌ｒ
縺舌ｓ
このテキストを保存する場合は、文字コードを SHIFT JIS (今のメモ帳だと ANSI?) としてください。
「ぐん」(UTF-8)と「縺舌ｓ」(SHIFT JIS) のバイト列を見ると
| ぐ | ん |
|---|---|
| E3 81 90 | E3 82 93 |
| 縺 | 舌 | ｓ |
|---|---|---|
| E3 81 | 90 E3 | 82 93 |
UTF-8 では 3 バイト区切りの 2 文字で、SHIFT JIS では、2 バイト区切りの 3 文字と判断されます。
1文字の UTF-8 と 2 文字の SHIFT JIS 組み合わせ例
§ ¨ ° ± ´ ¶ ÷ Ρ Σ Τ Υ Φ
Χ Ψ Ω α β γ δ ε ζ η θ ι
κ λ μ ν ξ ο С Т У Ф Х Ц
Ч Ш Щ Ъ Ы Ь Э Ю Я а б в
г д е ж з и й к л м н о
п ‡ ‥ … ‰ ′ ″ ※ ℡ Å Ⅱ Ⅲ
Ⅳ Ⅴ Ⅵ Ⅶ Ⅷ Ⅸ Ⅹ ⅰ ⅱ ⅲ ⅳ ⅴ
ⅵ ⅶ ⅷ ⅸ ⅹ ∥ ∧ ∨ ∩ ∪ ∫ ∬
∮ ∴ ∵ ∽ ≡ ≦ ≧ ≪ ≫ ⊥ ⊿ ②
③ ④ ⑤ ⑥ ⑦ ⑧ ⑨ ⑩ ⑪ ⑫ ⑬ ⑭
⑮ ⑯ ⑰ ⑱ ⑲ ⑳ ┣ ┤ ┥ ┨ ┫ ┬
┯ ┰ ┳ ┴ ┷ ┸ ┻ ┼ ┿ □ ▲ △
▼ ▽ ◯ ♪ ♭ ♯ ち ぢ っ つ づ て
で と ど な に ぬ ね の は ば ぱ ひ
び ぴ ふ ぶ ぷ へ べ ぺ ほ ぼ ぽ ま
み ァ ア ィ イ ゥ ウ ェ エ ォ オ カ
ガ キ ギ ク グ ケ ゲ コ ゴ サ ザ シ
ジ ス ズ セ ゼ ソ ゾ タ メ モ ャ ヤ
ュ ユ ョ ヨ ラ リ ル レ ロ ヮ ワ ヰ
ヱ ヲ ン ヴ ヵ ヶ ・ ー ヽ ヾ ㈱ ㈲
㈹ ㊤ ㊥ ㊦ ㊧ ㊨ ㌢ ㌣ ㌦ ㌧ ㌫ ㌶
㌻ ㍻ ㍼ ㍽ ㍾ ㎡ 両 並 丨 个 中 丱
串 丶 丸 丹 主 丼 丿 乢 乱 乳 乾 亡
亢 交 亥 亦 亨 享 京 亭 亮 亰 亳 亶
人 仡 代 令 以 仭 仮 仰 仲 件 价 任
仼 伯 估 伴 伶 伸 伹 伺 似 伽 佩 佯
佰 佳 併 佶 佻 佼 使 価 侫 侭 侮 侯
侵 侶 便 信 俣 俤 俥 修 俯 俳 俵 俶
俸 俺 俾 俿 倡 倢 倣 値 倥 倦 倨 倩
ﾂｧ ﾂｨ ﾂｰ ﾂｱ ﾂｴ ﾂｶ ﾃｷ ﾎ｡ ﾎ｣ ﾎ､ ﾎ･ ﾎｦ
ﾎｧ ﾎｨ ﾎｩ ﾎｱ ﾎｲ ﾎｳ ﾎｴ ﾎｵ ﾎｶ ﾎｷ ﾎｸ ﾎｹ
ﾎｺ ﾎｻ ﾎｼ ﾎｽ ﾎｾ ﾎｿ ﾐ｡ ﾐ｢ ﾐ｣ ﾐ､ ﾐ･ ﾐｦ
ﾐｧ ﾐｨ ﾐｩ ﾐｪ ﾐｫ ﾐｬ ﾐｭ ﾐｮ ﾐｯ ﾐｰ ﾐｱ ﾐｲ
ﾐｳ ﾐｴ ﾐｵ ﾐｶ ﾐｷ ﾐｸ ﾐｹ ﾐｺ ﾐｻ ﾐｼ ﾐｽ ﾐｾ
ﾐｿ 窶｡ 窶･ 窶ｦ 窶ｰ 窶ｲ 窶ｳ 窶ｻ 邃｡ 邃ｫ 竇｡ 竇｢
竇｣ 竇､ 竇･ 竇ｦ 竇ｧ 竇ｨ 竇ｩ 竇ｰ 竇ｱ 竇ｲ 竇ｳ 竇ｴ
竇ｵ 竇ｶ 竇ｷ 竇ｸ 竇ｹ 竏･ 竏ｧ 竏ｨ 竏ｩ 竏ｪ 竏ｫ 竏ｬ
竏ｮ 竏ｴ 竏ｵ 竏ｽ 竕｡ 竕ｦ 竕ｧ 竕ｪ 竕ｫ 竓･ 竓ｿ 竭｡
竭｢ 竭｣ 竭､ 竭･ 竭ｦ 竭ｧ 竭ｨ 竭ｩ 竭ｪ 竭ｫ 竭ｬ 竭ｭ
竭ｮ 竭ｯ 竭ｰ 竭ｱ 竭ｲ 竭ｳ 笏｣ 笏､ 笏･ 笏ｨ 笏ｫ 笏ｬ
笏ｯ 笏ｰ 笏ｳ 笏ｴ 笏ｷ 笏ｸ 笏ｻ 笏ｼ 笏ｿ 笆｡ 笆ｲ 笆ｳ
笆ｼ 笆ｽ 笳ｯ 笙ｪ 笙ｭ 笙ｯ 縺｡ 縺｢ 縺｣ 縺､ 縺･ 縺ｦ
縺ｧ 縺ｨ 縺ｩ 縺ｪ 縺ｫ 縺ｬ 縺ｭ 縺ｮ 縺ｯ 縺ｰ 縺ｱ 縺ｲ
縺ｳ 縺ｴ 縺ｵ 縺ｶ 縺ｷ 縺ｸ 縺ｹ 縺ｺ 縺ｻ 縺ｼ 縺ｽ 縺ｾ
縺ｿ 繧｡ 繧｢ 繧｣ 繧､ 繧･ 繧ｦ 繧ｧ 繧ｨ 繧ｩ 繧ｪ 繧ｫ
繧ｬ 繧ｭ 繧ｮ 繧ｯ 繧ｰ 繧ｱ 繧ｲ 繧ｳ 繧ｴ 繧ｵ 繧ｶ 繧ｷ
繧ｸ 繧ｹ 繧ｺ 繧ｻ 繧ｼ 繧ｽ 繧ｾ 繧ｿ 繝｡ 繝｢ 繝｣ 繝､
繝･ 繝ｦ 繝ｧ 繝ｨ 繝ｩ 繝ｪ 繝ｫ 繝ｬ 繝ｭ 繝ｮ 繝ｯ 繝ｰ
繝ｱ 繝ｲ 繝ｳ 繝ｴ 繝ｵ 繝ｶ 繝ｻ 繝ｼ 繝ｽ 繝ｾ 繹ｱ 繹ｲ
繹ｹ 繩､ 繩･ 繩ｦ 繩ｧ 繩ｨ 繻｢ 繻｣ 繻ｦ 繻ｧ 繻ｫ 繻ｶ
繻ｻ 纃ｻ 纃ｼ 纃ｽ 纃ｾ 緕｡ 荳｡ 荳ｦ 荳ｨ 荳ｪ 荳ｭ 荳ｱ
荳ｲ 荳ｶ 荳ｸ 荳ｹ 荳ｻ 荳ｼ 荳ｿ 荵｢ 荵ｱ 荵ｳ 荵ｾ 莠｡
莠｢ 莠､ 莠･ 莠ｦ 莠ｨ 莠ｫ 莠ｬ 莠ｭ 莠ｮ 莠ｰ 莠ｳ 莠ｶ
莠ｺ 莉｡ 莉｣ 莉､ 莉･ 莉ｭ 莉ｮ 莉ｰ 莉ｲ 莉ｶ 莉ｷ 莉ｻ
莉ｼ 莨ｯ 莨ｰ 莨ｴ 莨ｶ 莨ｸ 莨ｹ 莨ｺ 莨ｼ 莨ｽ 菴ｩ 菴ｯ
菴ｰ 菴ｳ 菴ｵ 菴ｶ 菴ｻ 菴ｼ 菴ｿ 萓｡ 萓ｫ 萓ｭ 萓ｮ 萓ｯ
萓ｵ 萓ｶ 萓ｿ 菫｡ 菫｣ 菫､ 菫･ 菫ｮ 菫ｯ 菫ｳ 菫ｵ 菫ｶ
菫ｸ 菫ｺ 菫ｾ 菫ｿ 蛟｡ 蛟｢ 蛟｣ 蛟､ 蛟･ 蛟ｦ 蛟ｨ 蛟ｩ