これは SHIFT_JIS (ゴト
これは SHIFT_JIS-2004 (ゴト
これは Windows-31J (ゴト
全部同じじゃないですか!?
これだから素人はダメだ!もっとよく見ろ!
文字コードの歴史と特徴
文字コードには様々なエンコード方式があります。
本記事では、SHIFT_JIS、SJIS、Windows-31J、cp932、EUC-JP、UTF-8、UTF-16、UTF-32について、それぞれの歴史と特徴を紹介します。
また、サロゲートペアと絵文字についても触れます。
SHIFT_JIS (SJIS)
※Rubyでは SHIFT_JIS ≠ SJIS なので注意。(1.9.3以降SJISはWindows-31Jのエイリアスになっています)
歴史
SHIFT_JISは、1980年代に日本のパソコンで広く使われるようになった文字コードで、ASCII、JIS X 0201およびJIS X 0208を基にして開発されました。
特徴
- 1バイトと2バイトの組み合わせ: ASCII文字は1バイトで表現され、日本語の漢字やかなは2バイトで表現されます
- 広い互換性: 当時の日本のパソコンや携帯電話で広く使用されました
- エンコード範囲: 2バイトコードの範囲が広く、誤ったバイトシーケンスが発生しやすいため、データの整合性に注意が必要です。また、Shift_JISは互換性が高いものの、エンコードの範囲が広いためバイトシーケンスの解釈が難しい場合がある
SHIFT_JIS-2004
歴史
SHIFT_JIS-2004は、2004年に改訂されたShift_JISのバージョンで、JIS X 0213:2004規格に基づいています。JIS X 0213は、従来のJIS X 0208にない新しい文字や記号を追加した規格です。
特徴
- JIS X 0213のサポート: 従来のJIS X 0208に加え、JIS X 0213で定義された追加文字をサポートします
- 互換性の保持: 基本的には従来のShift_JISとの互換性を保持しつつ、新しい文字セットを取り入れています
- エンコードの拡張: さらに多くの文字や記号をエンコードできるようになり、日本語の表現力が向上しました
Windows-31J (cp932)
歴史
Windows-31Jは、マイクロソフトによってSHIFT_JISを拡張した文字コードで、Windows環境で広く使用され、CP932とも呼ばれます。
特徴
- 互換性の拡張: SHIFT_JISに独自の拡張を加え、IBM拡張文字も含んでいます
- Windows依存: 主にWindows環境で使用され、他のプラットフォームでは互換性の問題が生じる場合がある
EUC-JP
歴史
EUC-JPは、UnixおよびLinux環境で広く使用される文字コードで、1980年代に登場しました。JIS X 0208とJIS X 0201を基にしています。
Solarisで使った記憶があります。
特徴
- エンコードの簡便さ: 最上位ビットを使用することで、文字の種類（1バイト、2バイト）を判別しやすい
- 互換性: Unix系システムでの日本語処理には適していましたが、現在ではUTF-8が標準で使用されています
UTF-8
歴史
UTF-8は1990年代に開発され、今日最も広く使用されているUnicodeエンコーディング形式です。ISO 10646とUnicodeを基にしています。
特徴
- 可変長エンコード: 1バイトから4バイトの可変長エンコードを使用します
- 互換性: UTF-8はASCIIとの互換性があり、英数字を含む多くのテキストで効率的に扱えます
- グローバル標準: インターネットや様々なアプリケーションで標準的に使用されています。特にウェブページやメールのエンコーディングとして広く採用されています
UTF-16
歴史
UTF-16は、1990年代にUnicodeの一部として開発されました。主にWindows、Javaプラットフォーム、および一部のデータベースシステムで使用されています。
特徴
- 固定長と可変長: 基本的には2バイトでエンコードされますが、基本多言語面（BMP）外の文字を表現する際にはサロゲートペアを使用することで4バイトになります
- 広範な文字サポート: Unicodeの広範な文字セットをサポートします
UTF-32
歴史
UTF-32も1990年代にUnicodeの一部として開発されました。全ての文字を固定長の4バイトでエンコードします。
特徴
- 固定長エンコード: 全ての文字が4バイトで表現されるため、文字の長さが一定で管理が容易です
- メモリ消費: 全ての文字が固定長の4バイトで表現されるため、大量のメモリを消費し、特にメモリ効率が重要なアプリケーションには適さないことがあります
サロゲートペア (Surrogate Pair)
概要
サロゲートペアは、UTF-16で基本多言語面（BMP）外の文字を表現するための仕組みです。
2つの16ビットコードユニットで1つのUTF-16文字を表現します。
特徴
- 高位サロゲート: 上位ビットが110110から始まる16ビット値。(0xD800から0xDBFFまで)
- 低位サロゲート: 上位ビットが110111から始まる16ビット値。(0xDC00から0xDFFFまで)
具体的には、「𠮷」は次のようにUTF-16で表現されます：
- Unicodeコードポイント: U+20BB7
- 高位サロゲート: 0xD842
- 低位サロゲート: 0xDFB7
「👍」は次のようにUTF-16で表現されます：
- Unicodeコードポイント: U+1F44D
- 高位サロゲート: 0xD83D
- 低位サロゲート: 0xDC4D
プログラミング言語での対応
各プログラミング言語では、サロゲートペアの扱い方が異なります。以下にいくつかの例を示します。
サロゲートペアに対応していない場合、2文字としてカウントしてしまったりといった不具合が生じます。
-
Java:
char型は16ビットのUTF-16コード単位を表すため、1文字が2つのchar値に分かれる場合があります。これに対応するために、Stringクラスはサロゲートペアを適切に処理し、codePointAt()やcodePointCount()などのメソッドを提供しています -
C#:
char型は16ビットのUTF-16コード単位を表します。string型はサロゲートペアを適切に処理し、System.Globalization.StringInfoクラスは文字列内のサロゲートペアを考慮したメソッドを提供しています -
JavaScript:
文字列は内部的にUTF-16で表現されます。サロゲートペアは2つのコード単位として扱われますが、String.prototype.charAt()やString.prototype.charCodeAt()などの一部のメソッドはサロゲートペアを適切に処理しません。代わりに、String.prototype.codePointAt()やfor...ofループを使用することが推奨されます -
Python:
文字列はUnicodeとして扱われ、サロゲートペアは単一の文字として適切に処理されます。len()関数は文字数を返し、forループは文字列内の各文字を反復処理します。 -
Ruby:
文字列はUTF-8でエンコードされますが、文字列操作はサロゲートペアを適切に処理します。String#lengthメソッドは文字数を返し、String#each_charメソッドは文字列内の各文字を反復処理します -
PHP:
PHPの内部文字列処理はバイト列として扱われ、特にマルチバイト文字やサロゲートペアの処理にはmbstringモジュールの使用が推奨されます。mb_strlen()関数やmb_substr()関数がサロゲートペアを適切に処理します -
Rust:
Rustでは文字列は内部的にUTF-8でエンコードされます。char型はUnicodeのスカラー値を表し、サロゲートペアはchar型では表現されません。文字列操作はサロゲートペアを適切に処理します。例えば、String::chars()メソッドは文字列をUnicodeのスカラー値のイテレータに変換し、サロゲートペアを単一のchar値として扱います。ただし、String::len()メソッドはバイト数を返すため、サロゲートペアを含む文字列の文字数を数える場合はString::chars().count()を使う必要があります。
絵文字 (Emoji)
概要
絵文字は、表情を表したり、物を表したりする文字です。1999年に日本の携帯電話で登場し発展しました。
2010年にUnicode 6.0で正式に採用されました。
特徴
- サロゲートペア: 多くの絵文字はサロゲートペアを使用してUTF-16で表現されます
絵文字のサロゲートペア
例えば、「👍🏽」という絵文字（サムズアップ👍 + 中くらいのスキントーン）は、次のようにUTF-16で表現されます：
-
サムズアップ（U+1F44D）👍
- 高位サロゲート: 0xD83D
- 低位サロゲート: 0xDC4D
-
中くらいのスキントーン（U+1F3FD）
- 高位サロゲート: 0xD83C
- 低位サロゲート: 0xDFFD
したがって、「👍🏽」は以下のように4つの16ビットコードユニットで表現されます：
- 高位サロゲート（サムズアップ）：0xD83D
- 低位サロゲート（サムズアップ）：0xDC4D
- 高位サロゲート（中くらいのスキントーン）：0xD83C
- 低位サロゲート（中くらいのスキントーン）：0xDFFD
まとめ
本記事では、文字コードの歴史と特徴について紹介しました。
現在では、UTF-8が最も広く使用されていますが、レガシーシステムや特定の環境では他のエンコード方式が依然として使われている感じですね。