文字コードってなんなの

概要

「文字コードってなんなの?」という疑問に答えます。

文字コードってなんなの

文字コードは、文字に対応するバイト列のことです。

バイト列ってなんなの

バイト(byte)は 8bit のことです。 8bit は8桁の2進数のことです。

'00000000'    # 10進数では0   16進数でも0
'11111111'    # 10進数では255 16進数ではff

バイト列というのは、この 8bit が並んでるもののことです。

# こういうこと。
'000000001111111100000000'  # 2進数で
'00ff00'                    # 16進数で

Python ではバイト列を以下のように表現します。

# `\x` は16進数を表しています。
b'\x00\xff\x00'

# '00ff00' からの変換方法。
bytes.fromhex('00ff00')

そんなわけで、文字をこんなん(b'\x00\xff\x00')で表現したものが文字コード、だということになります。

実際の例

文字をバイト列に変換する方式はいくつかあり、そのひとつが UTF-8 という方式。

Python ではこんな風に変換できます。

print( 'a'.encode('UTF-8') )  # b'a'
print( 'ă'.encode('UTF-8') )  # b'\xc4\x83'
print( 'あ'.encode('UTF-8') )  # b'\xe3\x81\x82'
print( '🅰'.encode('UTF-8') )  # b'\xf0\x9f\x85\xb0'

この通り、文字とバイト列が対応しているのがわかります。