0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 3 years have passed since last update.

機械学習の実装の勉強の記録⑤(MNISTのオリジナルデータの読み込み)

Last updated at Posted at 2020-12-29

#やりたいこと
オリジナルデータから読み込み、そのデータをkerasで扱う方法を勉強しておきたい。

##理由
MNISTデータを準備する方法として、下記のようにkeras.datasetsからの読み込む方法は最初の学習用としては良いが、
それだとデータの読み込みや前処理に関しての理解が深まらない。
オリジナルデータから読み込んでそのデータをkerasで扱う方法を勉強しておきたい。
以下はkerasから読み込む場合の方法。
なお、kerasのデータセットについてはこちらの記事で触れた。

from keras.datasets import mnist

(x_train, y_train), (x_test, y_test) = mnist.load_data()

#MNISTのオリジナルデータについて
##データの入手先
以下のヤン・ルカンのサイトにMNISTのオリジナル(多分?)データが置いてある。
http://yann.lecun.com/exdb/mnist/

##データの拡張子
上記サイトにおいてあるデータは、gzで圧縮されている。
gzだからと言って、7zipで展開してもただのバイナリファイルとしてしか解凍できない。

##データのフォーマット
上記のサイトの下の方に「FILE FORMATS FOR THE MNIST DATABASE」というタイトルで
バイナリファイルののフォーマットが説明されている。
このフォーマットはとりあえずは読んでふーんと思っておけばよい。

##オリジナルデータの読み込み方法
実際には先人たちがその読み込みの実装方法を紹介しているため、
こちらの記事を参照

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?