UTF-8 と SHIFT JIS で文字コードのバイト列が同じだと、機械的な単純判定では区別がつきません。そのパターンを CP932 と Unicode の変換表(unicode.org より) から作り、サンプルとして良さそうなものを選んでみました。
UTF-8 判定された文字列
UTF8-2文字.TXT
ぐぁ ぐあ ぐぃ ぐい ぐぅ ぐう ぐぇ ぐえ ぐぉ ぐお
ぐか ぐが ぐき ぐぎ ぐく ぐぐ ぐけ ぐげ ぐこ ぐご
ぐさ ぐざ ぐし ぐじ ぐす ぐず ぐせ ぐぜ ぐそ ぐぞ
ぐた ぐだ ぐち ぐぢ ぐっ ぐつ ぐづ ぐて ぐで ぐと
ぐど ぐな ぐに ぐぬ ぐへ ぐべ ぐぺ ぐほ ぐぼ ぐぽ
ぐま ぐみ ぐめ ぐも ぐゃ ぐや ぐゅ ぐゆ ぐょ ぐよ
ぐら ぐり ぐる ぐれ ぐろ
ぐゎ ぐわ ぐゐ ぐゑ ぐを
ぐん
このテキストを保存する場合は、文字コードを UTF-8 としてください。
SHIFT JIS 判定された文字列
SJIS-3文字.TXT
縺舌＝ 縺舌≠ 縺舌＜ 縺舌＞ 縺舌≦ 縺舌≧ 縺舌∞ 縺舌∴ 縺舌♂ 縺舌♀
縺舌° 縺舌′ 縺舌″ 縺舌℃ 縺舌￥ 縺舌＄ 縺舌¢ 縺舌£ 縺舌％ 縺舌＃
縺舌＆ 縺舌＊ 縺舌＠ 縺舌§ 縺舌☆ 縺舌★ 縺舌○ 縺舌● 縺舌◎ 縺舌◇
縺舌◆ 縺舌□ 縺舌■ 縺舌△ 縺舌▲ 縺舌▽ 縺舌▼ 縺舌※ 縺舌〒 縺舌→
縺舌← 縺舌↑ 縺舌↓ 縺舌〓 縺舌∈ 縺舌∋ 縺舌⊆ 縺舌⊇ 縺舌⊂ 縺舌⊃
縺舌∪ 縺舌∩ 縺舌ａ 縺舌ｂ 縺舌ｃ 縺舌ｄ 縺舌ｅ 縺舌ｆ 縺舌ｇ 縺舌ｈ
縺舌ｉ 縺舌ｊ 縺舌ｋ 縺舌ｌ 縺舌ｍ
縺舌ｎ 縺舌ｏ 縺舌ｐ 縺舌ｑ 縺舌ｒ
縺舌ｓ
このテキストを保存する場合は、文字コードを SHIFT JIS (今のメモ帳だと ANSI?) としてください。
「ぐん」(UTF-8)と「縺舌ｓ」(SHIFT JIS) のバイト列を見ると
| ぐ | ん |
|---|---|
| E3 81 90 | E3 82 93 |
| 縺 | 舌 | ｓ |
|---|---|---|
| E3 81 | 90 E3 | 82 93 |
UTF-8 では 3 バイト区切りの 2 文字で、SHIFT JIS では、2 バイト区切りの 3 文字と判断されます。
1文字の UTF-8 と 2 文字の SHIFT JIS 組み合わせ例
UTF-1文字.TXT
§ ¨ ° ± ´ ¶ ÷ Ρ Σ Τ Υ Φ
Χ Ψ Ω α β γ δ ε ζ η θ ι
κ λ μ ν ξ ο С Т У Ф Х Ц
Ч Ш Щ Ъ Ы Ь Э Ю Я а б в
г д е ж з и й к л м н о
п ‡ ‥ … ‰ ′ ″ ※ ℡ Å Ⅱ Ⅲ
Ⅳ Ⅴ Ⅵ Ⅶ Ⅷ Ⅸ Ⅹ ⅰ ⅱ ⅲ ⅳ ⅴ
ⅵ ⅶ ⅷ ⅸ ⅹ ∥ ∧ ∨ ∩ ∪ ∫ ∬
∮ ∴ ∵ ∽ ≡ ≦ ≧ ≪ ≫ ⊥ ⊿ ②
③ ④ ⑤ ⑥ ⑦ ⑧ ⑨ ⑩ ⑪ ⑫ ⑬ ⑭
⑮ ⑯ ⑰ ⑱ ⑲ ⑳ ┣ ┤ ┥ ┨ ┫ ┬
┯ ┰ ┳ ┴ ┷ ┸ ┻ ┼ ┿ □ ▲ △
▼ ▽ ◯ ♪ ♭ ♯ ち ぢ っ つ づ て
で と ど な に ぬ ね の は ば ぱ ひ
び ぴ ふ ぶ ぷ へ べ ぺ ほ ぼ ぽ ま
み ァ ア ィ イ ゥ ウ ェ エ ォ オ カ
ガ キ ギ ク グ ケ ゲ コ ゴ サ ザ シ
ジ ス ズ セ ゼ ソ ゾ タ メ モ ャ ヤ
ュ ユ ョ ヨ ラ リ ル レ ロ ヮ ワ ヰ
ヱ ヲ ン ヴ ヵ ヶ ・ ー ヽ ヾ ㈱ ㈲
㈹ ㊤ ㊥ ㊦ ㊧ ㊨ ㌢ ㌣ ㌦ ㌧ ㌫ ㌶
㌻ ㍻ ㍼ ㍽ ㍾ ㎡ 両 並 丨 个 中 丱
串 丶 丸 丹 主 丼 丿 乢 乱 乳 乾 亡
亢 交 亥 亦 亨 享 京 亭 亮 亰 亳 亶
人 仡 代 令 以 仭 仮 仰 仲 件 价 任
仼 伯 估 伴 伶 伸 伹 伺 似 伽 佩 佯
佰 佳 併 佶 佻 佼 使 価 侫 侭 侮 侯
侵 侶 便 信 俣 俤 俥 修 俯 俳 俵 俶
俸 俺 俾 俿 倡 倢 倣 値 倥 倦 倨 倩
SJIS-2文字.TXT
ﾂｧ ﾂｨ ﾂｰ ﾂｱ ﾂｴ ﾂｶ ﾃｷ ﾎ｡ ﾎ｣ ﾎ､ ﾎ･ ﾎｦ
ﾎｧ ﾎｨ ﾎｩ ﾎｱ ﾎｲ ﾎｳ ﾎｴ ﾎｵ ﾎｶ ﾎｷ ﾎｸ ﾎｹ
ﾎｺ ﾎｻ ﾎｼ ﾎｽ ﾎｾ ﾎｿ ﾐ｡ ﾐ｢ ﾐ｣ ﾐ､ ﾐ･ ﾐｦ
ﾐｧ ﾐｨ ﾐｩ ﾐｪ ﾐｫ ﾐｬ ﾐｭ ﾐｮ ﾐｯ ﾐｰ ﾐｱ ﾐｲ
ﾐｳ ﾐｴ ﾐｵ ﾐｶ ﾐｷ ﾐｸ ﾐｹ ﾐｺ ﾐｻ ﾐｼ ﾐｽ ﾐｾ
ﾐｿ 窶｡ 窶･ 窶ｦ 窶ｰ 窶ｲ 窶ｳ 窶ｻ 邃｡ 邃ｫ 竇｡ 竇｢
竇｣ 竇､ 竇･ 竇ｦ 竇ｧ 竇ｨ 竇ｩ 竇ｰ 竇ｱ 竇ｲ 竇ｳ 竇ｴ
竇ｵ 竇ｶ 竇ｷ 竇ｸ 竇ｹ 竏･ 竏ｧ 竏ｨ 竏ｩ 竏ｪ 竏ｫ 竏ｬ
竏ｮ 竏ｴ 竏ｵ 竏ｽ 竕｡ 竕ｦ 竕ｧ 竕ｪ 竕ｫ 竓･ 竓ｿ 竭｡
竭｢ 竭｣ 竭､ 竭･ 竭ｦ 竭ｧ 竭ｨ 竭ｩ 竭ｪ 竭ｫ 竭ｬ 竭ｭ
竭ｮ 竭ｯ 竭ｰ 竭ｱ 竭ｲ 竭ｳ 笏｣ 笏､ 笏･ 笏ｨ 笏ｫ 笏ｬ
笏ｯ 笏ｰ 笏ｳ 笏ｴ 笏ｷ 笏ｸ 笏ｻ 笏ｼ 笏ｿ 笆｡ 笆ｲ 笆ｳ
笆ｼ 笆ｽ 笳ｯ 笙ｪ 笙ｭ 笙ｯ 縺｡ 縺｢ 縺｣ 縺､ 縺･ 縺ｦ
縺ｧ 縺ｨ 縺ｩ 縺ｪ 縺ｫ 縺ｬ 縺ｭ 縺ｮ 縺ｯ 縺ｰ 縺ｱ 縺ｲ
縺ｳ 縺ｴ 縺ｵ 縺ｶ 縺ｷ 縺ｸ 縺ｹ 縺ｺ 縺ｻ 縺ｼ 縺ｽ 縺ｾ
縺ｿ 繧｡ 繧｢ 繧｣ 繧､ 繧･ 繧ｦ 繧ｧ 繧ｨ 繧ｩ 繧ｪ 繧ｫ
繧ｬ 繧ｭ 繧ｮ 繧ｯ 繧ｰ 繧ｱ 繧ｲ 繧ｳ 繧ｴ 繧ｵ 繧ｶ 繧ｷ
繧ｸ 繧ｹ 繧ｺ 繧ｻ 繧ｼ 繧ｽ 繧ｾ 繧ｿ 繝｡ 繝｢ 繝｣ 繝､
繝･ 繝ｦ 繝ｧ 繝ｨ 繝ｩ 繝ｪ 繝ｫ 繝ｬ 繝ｭ 繝ｮ 繝ｯ 繝ｰ
繝ｱ 繝ｲ 繝ｳ 繝ｴ 繝ｵ 繝ｶ 繝ｻ 繝ｼ 繝ｽ 繝ｾ 繹ｱ 繹ｲ
繹ｹ 繩､ 繩･ 繩ｦ 繩ｧ 繩ｨ 繻｢ 繻｣ 繻ｦ 繻ｧ 繻ｫ 繻ｶ
繻ｻ 纃ｻ 纃ｼ 纃ｽ 纃ｾ 緕｡ 荳｡ 荳ｦ 荳ｨ 荳ｪ 荳ｭ 荳ｱ
荳ｲ 荳ｶ 荳ｸ 荳ｹ 荳ｻ 荳ｼ 荳ｿ 荵｢ 荵ｱ 荵ｳ 荵ｾ 莠｡
莠｢ 莠､ 莠･ 莠ｦ 莠ｨ 莠ｫ 莠ｬ 莠ｭ 莠ｮ 莠ｰ 莠ｳ 莠ｶ
莠ｺ 莉｡ 莉｣ 莉､ 莉･ 莉ｭ 莉ｮ 莉ｰ 莉ｲ 莉ｶ 莉ｷ 莉ｻ
莉ｼ 莨ｯ 莨ｰ 莨ｴ 莨ｶ 莨ｸ 莨ｹ 莨ｺ 莨ｼ 莨ｽ 菴ｩ 菴ｯ
菴ｰ 菴ｳ 菴ｵ 菴ｶ 菴ｻ 菴ｼ 菴ｿ 萓｡ 萓ｫ 萓ｭ 萓ｮ 萓ｯ
萓ｵ 萓ｶ 萓ｿ 菫｡ 菫｣ 菫､ 菫･ 菫ｮ 菫ｯ 菫ｳ 菫ｵ 菫ｶ
菫ｸ 菫ｺ 菫ｾ 菫ｿ 蛟｡ 蛟｢ 蛟｣ 蛟､ 蛟･ 蛟ｦ 蛟ｨ 蛟ｩ