DeepLearningの基本的サンプルであるMNISTの入力データの詳細を調べてみる。
これを理解することで、自分で学習させたいデータを作成する際の参考となると思われる。
入力データの種類
MNISTでは以下の4種類のデータを入力データとして読み込んでいる。
| ファイル名 | 内容 |
|---|---|
| train-images-idx3-ubyte.gz | 学習用画像データ |
| train-labels-idx1-ubyte.gz | 学習用ラベルデータ |
| t10k-images-idx3-ubyte.gz | テスト用画像データ |
| t10k-labels-idx1-ubyte.gz | テスト用ラベルデータ |
これらのファイルはzipで圧縮されているため、実際に使用する際には内部的に解凍してから使用している。
学習用の画像枚数は60,000枚、テスト用の画像枚数は10,000枚となっている。
また、学習用データのうち5,000枚を検証用として使用している。（枚数は変更可能）
ラベルの識別数は10種類（0～9）である。
画像データ
画像データのフォーマットは以下のようになっている。
（例）train-images-idx3-ubyte.gz：学習用画像データ（28x28pixel、60,000枚）
0x0000～0x0003：マジックナンバー（2051） ※これでMNISTの画像データかを判断している
0x0004～0x0007：画像枚数（60,000）
0x0008～0x000b：画像の高さ（28）
0x000c～0x000f：画像の幅（28）
0x0010～0x032f：1枚目の画像データ ※1pixelは1byte整数固定
画像データが60,000枚分続き、ファイルが終了する。
ラベルデータ
ラベルデータのフォーマットは以下のようになっている。
（例）train-labels-idx1-ubyte.gz：学習用ラベルデータ（10分類、60,000枚）
0x0000～0x0003：マジックナンバー（2049） ※これでMNISTのラベルデータかを判断している
0x0004～0x0007：画像枚数（60,000）
0x0008～0xea67：各画像のラベルの値 ※ラベルの値（0～9）は1byte整数固定
ラベルデータが60,000枚分続き、ファイルが終了する。
なお、各画像のラベルデータは、直接対応する分類番号が入っていることに注意すること。
各画像に対応する各識別値を指定したい場合は、0～9に対応したフラグ（0 or 1が10個）のような構造にする必要がある。
※もちろん、データだけでなく処理も修正が必要になる
参考
TensorFlowの場合、MNISTデータの読み込み処理は「tensorflow\contrib\learn\python\learn\datasets\mnist.py」にあるので、独自のデータを扱う際には、これを真似するのが理解しやすく良さそうだ。