序
MNIST の代替データセットとして、Zalando から Fashion-MNIST データセットが2017年８月に公開されました。Fashion-MNIST は MNIST の欠点を補うとともに、フォーマットは MNIST と完全互換です。60,000 サンプルの訓練セットと 10,000 サンプルのテストセットから成り、各サンプルは 28×28 グレースケール画像で 10 クラスのラベルと関連付けられています。Fashion-MNIST はオリジナルの MNIST データセット の直接的な差し込み式の置き換えとしてサーブすることを意図しています。
そして @masao-classcat が翻訳した Fashion-MNIST の README の翻訳ドキュメントを author の Dr. Han Xiao 氏の要望で README-ja として github の公式 repository に push する運びとなりましたので、qiita でも共有しておきます。
Fashion-MNIST README-ja
60,000 サンプルの訓練セットと 10,000 サンプルのテストセットから成る、Zalando の記事の画像のデータセットです。各サンプルは 28×28 グレースケール画像で、10 クラスからのラベルと関連付けられています。Fashion-MNIST は、機械学習アルゴリズムのベンチマークのためのオリジナルの MNIST データセット の 直接的な差し込み式の (= drop-in) 置き換え としてサーブすることを意図しています。
何故でしょう？
オリジナルの MNIST データセットは沢山の手書き数字を含みます。AI/ML/データサイエンス・コミュニティの人々はこのデータセットを好みそして彼らのアルゴリズムを検証するためのベンチマークとしてそれを使用します。実際に、MNIST はしばしば試してみる最初のデータセットです。「もしそれが MNIST で動作しなければ、まったく動作しないだろう」と彼らは言いました。「そうですね～、もし MNIST で動作するとしても、他の上では依然として失敗するかもしれませんが。」
Fashion-MNIST は、機械学習アルゴリズムのベンチマークのためのオリジナルの MNIST データセットの直接的な差し込み式の (= drop-in) 置き換えとしてサーブすることを意図しています、というのはそれは同じ画像サイズでそして訓練及びテスト分割の構造を共有しているからです。
真面目な機械学習研究者へ
真面目な話し、MNIST を置き換えることについて話しをしています。幾つかの良い理由がここにあります :
- MNIST は簡単過ぎます。 私たちの比較ベンチマーク と “Most pairs of MNIST digits can be distinguished pretty well by just one pixel” を確かめてください。
- MNIST は使用され過ぎています。 “Ian Goodfellow wants people to move away from mnist.”を確かめてください。
- MNIST はモダンな CV タスクを表現できません。 “François Cholle: Ideas on MNIST do not transfer to real CV.” を確かめてください。
データを取得する
データセットをダウンロードするためには直接リンクを使用することができます。データはオリジナルの MNIST データと同じフォーマットでストアされています。
| 名前 | 内容 | サンプル | サイズ | リンク | MD5チェックサム |
|---|---|---|---|---|---|
train-images-idx3-ubyte.gz |
訓練セット画像 | 60,000 | 26 MBytes | ダウンロード | 8d4fb7e6c68d591d4c3dfef9ec88bf0d |
train-labels-idx1-ubyte.gz |
訓練セット・ラベル | 60,000 | 29 KBytes | ダウンロード | 25c81989df183df01b3e8a0aad5dffbe |
t10k-images-idx3-ubyte.gz |
テストセット画像 | 10,000 | 4.3 MBytes | ダウンロード | bef4ecab320f06d8554ea6380940ec79 |
t10k-labels-idx1-ubyte.gz |
テストセット・ラベル | 10,000 | 5.1 KBytes | ダウンロード | bb300cfdad3c16e7a12a480ee83cd310 |
あるいはこのレポジトリを clone することもできます、データセットは data/fashion の下です。この repo はベンチーマークと可視化のための幾つかのスクリプトを含みます。
git clone git@github.com:zalandoresearch/fashion-mnist.git
ラベル
各訓練とテスト・サンプルは以下のラベル群の一つに割り当てられています :
| ラベル | 記述 |
|---|---|
| 0 | T-shirt/top |
| 1 | Trouser |
| 2 | Pullover |
| 3 | Dress |
| 4 | Coat |
| 5 | Sandal |
| 6 | Shirt |
| 7 | Sneaker |
| 8 | Bag |
| 9 | Ankle boot |
使い方
Python (NumPyが必要)でデータをロードする
この repo の utils/mnist_reader を使用する :
import mnist_reader
X_train, y_train = mnist_reader.load_mnist('data/fashion', kind='train')
X_test, y_test = mnist_reader.load_mnist('data/fashion', kind='t10k')
TensorFlow でデータをロードする
私たちのデータセットをダウンロードしてくださいことを確認し、それを data/fashionの下に置きます。それ以外の場合、* Tensorflowは自動的に元のMNISTをダウンロードして使用します。 *
from tensorflow.examples.tutorials.mnist import input_data
data = input_data.read_data_sets('data/fashion')
data.train.next_batch(BATCH_SIZE)
他の機械学習ライブラリを使用する
機械学習コミュニティでもっとも人気のあるデータセットの一つですので、人々は多くの言語で MNIST loader を実装してきています。それらは Fashion-MNIST データセットをロードするためにも使用できるでしょう (最初に decompress する必要があるかもしれません)。それらは私たちによってテストはされていないことには注意してください。
ベンチマーク
scikit-learn ベースの自動ベンチマーキング・システムを構築しました、これは異なるパラメータの 129 の (深層学習ではない) 分類器をカバーします。 結果はここで見つかります。.
結果は benchmark/runner.py を実行することで再現できます。推奨方法はこの docker コンテナをビルドして deploy することです (訳注 : リンク欠落)。this Dockerfile.
貴方のベンチマークを submit することを歓迎します。新しい issue を作成してください、貴方の結果はここでリストされます。詳細は contributor guidelines セクションを確認してください。ベンチマークを submit する前に、このリストにリストされていなことを必ず確認してください。
| 分類器 | 前処理 | Fashion テスト精度 | MNIST テスト精度 | Submitter | コード |
|---|---|---|---|---|---|
| 2 Conv Layers with max pooling (Keras) | None | 0.876 | - | Kashif Rasul |  |
| 2 Conv Layers with max pooling (Tensorflow) >300 epochs | None | 0.916 | - | Tensorflow's doc | |
| 2 Conv Layers net | Normalization, random horizontal flip, random vertical flip, random translation, random rotation. | 0.919 | 0.971 | Kyriakos Efthymiadis | |
| 2 Conv Layers net <100K parameter | None | 0.925 | 0.992 | @hardmaru | |
| 3 Conv layers and 2 FC | None | 0.907 | - | @Cenk Bircanoğlu | |
| 3 Conv+pooling and 2 FC+dropout | None | 0.926 | - | @Umberto Griffo | |
| GRU+SVM | None | 0.888 | 0.965 | @AFAgarap | |
| GRU+SVM with dropout | None | 0.897 | 0.988 | @AFAgarap | |
| WRN40-4 8.9M params | standard preprocessing (mean/std subtraction/division) and augmentation (random crops/horizontal flips) | 0.967 | - | @ajbrock |
|
| DenseNet-BC 768K params | standard preprocessing (mean/std subtraction/division) and augmentation (random crops/horizontal flips) | 0.954 | - | @ajbrock |
|
| MobileNet | augmentation (horizontal flips) | 0.950 | - | @苏剑林 | |
| ResNet18 | Normalization, random horizontal flip, random vertical flip, random translation, random rotation. | 0.949 | 0.979 | Kyriakos Efthymiadis | |
| GoogleNet with cross-entropy loss | None | 0.937 | - | @Cenk Bircanoğlu | |
| AlexNet with Triplet loss | None | 0.899 | - | @Cenk Bircanoğlu | |
| SqueezeNet with cyclical learning rate 200 epochs | None | 0.900 | - | @snakers4 | |
| Dual path network with wide resnet 28-10 | standard preprocessing (mean/std subtraction/division) and augmentation (random crops/horizontal flips) | 0.957 | - | @Queequeg | |
| MLP 256-128-64 | None | 0.900 | - | @lianghong | |
| VGG16 26M parameters | None | 0.935 | - | @QuantumLiu |
|
| WRN-28-10 | standard preprocessing (mean/std subtraction/division) and augmentation (random crops/horizontal flips) | 0.959 | - | @zhunzhong07 | |
| WRN-28-10 + Random Erasing | standard preprocessing (mean/std subtraction/division) and augmentation (random crops/horizontal flips) | 0.963 | - | @zhunzhong07 | |
他の探求
Generative adversarial networks (GANs)
- Tensorflow implementation of various GANs and VAEs. (Recommend to read! Note how various GANs generate different results on Fashion-MNIST, which can not be easily observed on the original MNIST.)
- Make a ghost wardrobe using DCGAN
- fashion-mnist的gan玩具
- CGAN output after 5000 steps
可視化
t-SNE on Fashion-MNIST (左) とオリジナルの MNIST (右)
PCA on Fashion-MNIST (左) とオリジナルの MNIST (右)
貢献する
Thanks for your interest in contributing! There are many ways to get involved; start with our contributor guidelines and then check these open issues for specific tasks.
コンタクト
To discuss the dataset, please use 
.
Citing Fashion-MNIST
If you use Fashion-MNIST in a scientific publication, we would appreciate references to the following paper:
Fashion-MNIST: a Novel Image Dataset for Benchmarking Machine Learning Algorithms. Han Xiao, Kashif Rasul, Roland Vollgraf. arXiv:1708.07747
Biblatex entry:
@online{xiao2017/online,
author = {Han Xiao and Kashif Rasul and Roland Vollgraf},
title = {Fashion-MNIST: a Novel Image Dataset for Benchmarking Machine Learning Algorithms},
date = {2017-08-28},
year = {2017},
eprintclass = {cs.LG},
eprinttype = {arXiv},
eprint = {cs.LG/1708.07747},
}
License
The MIT License (MIT) Copyright © [2017] Zalando SE, https://tech.zalando.com
Permission is hereby granted, free of charge, to any person obtaining a copy of this software and associated documentation files (the “Software”), to deal in the Software without restriction, including without limitation the rights to use, copy, modify, merge, publish, distribute, sublicense, and/or sell copies of the Software, and to permit persons to whom the Software is furnished to do so, subject to the following conditions:
The above copyright notice and this permission notice shall be included in all copies or substantial portions of the Software.
THE SOFTWARE IS PROVIDED “AS IS”, WITHOUT WARRANTY OF ANY KIND, EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.
以上