Goにおける文字列とバイト配列の理解: コンピュータが文字を扱う仕組み
プログラミングを学ぶ中で、特に日本語などの非ASCII文字を扱う際に「文字列とバイトの関係」について疑問を持つことがあります。この記事では、Go言語（Golang）を例に、コンピュータがどのように文字列を処理しているのか、そしてなぜバイト配列がそのような構造になるのか、備忘録としてまとめます。
よくある疑問
「こんにちは」という日本語の文字列をバイト配列に変換すると、なぜ文字ごとのグループ（配列の配列）にならないのですか？
この疑問は多くの方が持つものです。特に日本語の1文字が複数バイトで表現されることを知ると、バイト配列内でもそのグループ化が保持されるのではないかと考えるのは自然なことです。
文字列とバイトの基本概念
コンピュータの基本: バイト
コンピュータの世界では、すべての情報は最終的にバイトという単位で処理されます。1バイトは8ビットで構成され、0〜255の整数値を表現できます。
// 1バイトの例
byte1 := byte(65) // 'A'の ASCII コード
byte2 := byte(227) // 日本語文字の一部
文字とエンコーディング
人間が理解する「文字」は、コンピュータ内部では特定のエンコーディングに従って、1つ以上のバイト値に変換されます。
- ASCII: 英数字や記号を1バイトで表現（0〜127のみ使用）
- UTF-8: Unicode文字を1〜4バイトの可変長で表現（日本語は通常3バイト）
// 文字のバイト表現
fmt.Println([]byte("A")) // [65]
fmt.Println([]byte("こ")) // [227 129 147]
Goにおける文字列表現
Goでは、文字列に関連する主な型が3つあります：
- string: 不変（immutable）の文字列型
- []byte: バイトのスライス（配列）
- []rune: Unicode文字（コードポイント）のスライス
text := "こんにちは"
// 文字列からバイト配列への変換
bytes := []byte(text)
fmt.Println(bytes)
// 出力: [227 129 147 227 130 147 227 129 171 227 129 161 227 129 175]
// 文字列からrune配列（Unicode文字の配列）への変換
runes := []rune(text)
fmt.Println(runes)
// 出力: [12371 12435 12395 12385 12399]
なぜバイト配列は「平坦」なのか？
「こんにちは」をバイト配列に変換すると、以下のような1次元配列になります：
[227, 129, 147, 227, 130, 147, 227, 129, 171, 227, 129, 161, 227, 129, 175]
これが以下のような2次元配列（入れ子構造）にならない理由は複数あります：
1. コンピュータの基本動作原理
コンピュータのメモリは本質的に連続したバイトの列として機能します。メモリ上のデータは常に1次元のバイト列として格納されます。
2. 文字の境界は「解釈」による
バイト配列そのものは、どこからどこまでが1つの文字なのかを「知りません」。これは人間やプログラムが特定のエンコーディング規則に従って「解釈」する必要があります。
3. 効率性と汎用性
バイト配列をシンプルな1次元構造にすることで：
- メモリ使用量が少なく済む
- ファイルI/Oやネットワーク通信と互換性がある
- テキスト以外のバイナリデータも同じ構造で扱える
4. 明示的な分離が必要な場合は手動で
必要に応じて、文字ごとにグループ化することは可能です：
text := "こんにちは"
var characterBytes [][]byte
// 文字ごとにバイト表現を取得
for _, r := range []rune(text) {
charBytes := []byte(string(r))
characterBytes = append(characterBytes, charBytes)
}
fmt.Println(characterBytes)
// 出力: [[227 129 147] [227 130 147] [227 129 171] [227 129 161] [227 129 175]]
実用的な例: HTTPレスポンス
最初の疑問の発端となっていたHTTPレスポンスの例を見てみましょう：
http.HandleFunc("/", func(w http.ResponseWriter, r *http.Request) {
w.Write([]byte(`
<html>
<head>
<title>チャット</title>
</head>
<body>
チャットしましょう！
</body>
</html>
`))
})
このコードでは、HTMLテキストを[]byteに変換しています。なぜなら：
-
http.ResponseWriter.Writeメソッドは[]byte型を引数として受け取ります - HTTPプロトコルは根本的にバイトストリームを転送するため
- バイナリデータ（画像など）も同じインターフェースで送信できるようにするため
より読みやすいコード
上記のコードはより読みやすく書き直すことができます：
func homeHandler(w http.ResponseWriter, r *http.Request) {
htmlContent := `
<html>
<head>
<title>チャット</title>
</head>
<body>
チャットしましょう！
</body>
</html>
`
fmt.Fprint(w, htmlContent) // 内部的に[]byteに変換されます
}
func main() {
http.HandleFunc("/", homeHandler)
// ...
}
fmt.Fprintやio.WriteStringを使うと、文字列を直接書き込むことができ、内部的に必要な変換が行われます。
実例: バイトと文字の関係を確認する
以下のGoプログラムで文字とバイトの関係を確認できます：
package main
import "fmt"
func main() {
// サンプルテキスト
text := "Hello, こんにちは"
// バイト表現
bytes := []byte(text)
fmt.Println("バイト配列:", bytes)
// rune（Unicode文字）表現
runes := []rune(text)
fmt.Println("rune配列:", runes)
// 文字ごとの分析
fmt.Println("\n各文字の分析:")
for i, r := range text {
fmt.Printf("位置: %2d, 文字: %c, Unicode: %d, バイト位置: %2d\n",
i, r, r, i)
}
// 文字ごとのバイト表現
fmt.Println("\n各文字のバイト表現:")
for i, r := range []rune(text) {
charBytes := []byte(string(r))
fmt.Printf("文字%d: %c バイト数: %d バイト値: %v\n",
i+1, r, len(charBytes), charBytes)
}
}
まとめ
- コンピュータの基本はバイト: すべてのデータは最終的にバイト列として表現されます
- 文字は抽象概念: 「文字」はエンコーディング規則によってバイト値に変換されます
-
バイト配列は平坦:
[]byteはシンプルな1次元配列であり、文字の境界情報は含みません -
文字単位で処理したい場合:
[]runeを使うか、必要に応じて手動でグループ化します - Goは明示的: 型変換が必要な場合は明示的に行う必要があります
この記事を通じて、Goにおける文字列とバイトの関係、そしてコンピュータが文字をどのように処理しているかについての理解が深まれば幸いです。
補足: Goでよく使われるテキスト処理関数
// 文字列 <-> バイト
s := "Hello, 世界"
b := []byte(s) // 文字列 -> バイト
s2 := string(b) // バイト -> 文字列
// 文字列 <-> rune
r := []rune(s) // 文字列 -> rune
s3 := string(r) // rune -> 文字列
// 文字数を取得（マルチバイト文字に対応）
length := len([]rune(s))
// 文字列をイテレート（マルチバイト文字に対応）
for _, char := range s {
fmt.Printf("%c ", char)
}
これらの関数を使いこなすことで、マルチバイト文字を含む文字列も安全に処理できるようになります。