時間のない方むけ
学習データセットの設定は下記が良い。
ds = ds.shuffle(count)
ds = ds.batch(batch_size, drop_remainder=True)
ds = ds.prefetch(buffer_size=AUTOTUNE)
テスト用はshuffleをぬいて、drop_remainderをFalseにする。
(drop_remainderはpytorchで言えばdrop_lastと同じものです)
やりたいこと
大抵のニューラルネットワークの学習時には1エポックで、下記のようにバッチを取得して学習したいのではないでしょうか。下記は全20データを3バッチずつとってくるイメージ。これをtensorflowのdsではどうやったらできるか？というのが今回の目的。2021年に書くことじゃないだろ、と思うんですが、最近知ったこともあるので備忘録として・・
この記事が機能の詳細は、かなり細かく載せていますので、参考に。
TensorFlowで使えるデータセット機能が強かった話
Tutorialに従ってみる
Flowerのデータセットを例にとったTutorialでのデータセットのコードを見てみましょう。
このshuffle_and_repeatというやつが、一体なにをしてくれるんでしょうか。
ds = image_label_ds.apply(
tf.data.experimental.shuffle_and_repeat(buffer_size=image_count))
ds = ds.batch(BATCH_SIZE)
ds = ds.prefetch(buffer_size=AUTOTUNE)
具体的に100データに対して、batch_size=16でこれを動かしてみます。
（無限ループになるので10ループでbreakしています）
import tensorflow as tf
AUTOTUNE = tf.data.experimental.AUTOTUNE
ds = tf.data.Dataset.from_tensor_slices(tf.range(100))
ds2 = ds.apply(tf.data.experimental.shuffle_and_repeat(buffer_size=100))
ds2 = ds2.batch(16)
ds2 = ds2.prefetch(buffer_size=AUTOTUNE)
for i, data in enumerate(ds2):
print(i)
print(data)
if i > 10:
break
あっという間に同じデータが繰り返されているのがわかります。
tensorflowの公式tutorialt通りにやると、挙動が欲しいものと違う気がします。なんでtensorflowはこの方法を一番シンプルな公式tutorialに載せてるんだろう。と少しだけ感じますが、考察は下の方に書いています。
0
tf.Tensor([49 46 72 99 1 17 78 71 89 97 48 12 55 94 35 61], shape=(16,), dtype=int32)
1
tf.Tensor([29 52 79 84 4 2 87 44 56 42 16 33 86 6 14 80], shape=(16,), dtype=int32)
2
tf.Tensor([38 70 11 25 20 5 68 81 58 9 53 24 34 63 91 90], shape=(16,), dtype=int32)
3
tf.Tensor([13 30 92 18 67 0 8 74 65 40 47 15 43 85 28 22], shape=(16,), dtype=int32)
4
tf.Tensor([88 7 96 83 31 36 41 23 37 3 51 64 19 54 62 73], shape=(16,), dtype=int32)
5
tf.Tensor([57 93 21 59 98 69 95 32 75 60 66 26 10 82 45 50], shape=(16,), dtype=int32)
6
tf.Tensor([76 27 39 77 36 45 73 99 12 11 0 57 42 51 23 9], shape=(16,), dtype=int32)
7
tf.Tensor([98 39 4 17 91 50 15 24 65 86 52 81 35 18 3 26], shape=(16,), dtype=int32)
8
tf.Tensor([33 70 89 88 67 31 6 53 55 14 97 64 84 43 54 37], shape=(16,), dtype=int32)
9
tf.Tensor([25 32 5 92 75 21 90 29 19 40 28 79 69 48 66 46], shape=(16,), dtype=int32)
10
tf.Tensor([58 74 93 82 20 96 8 95 47 30 76 85 7 94 22 2], shape=(16,), dtype=int32)
11
tf.Tensor([83 16 68 62 1 41 13 78 38 44 10 87 63 49 34 59], shape=(16,), dtype=int32)
解決策
すごくシンプルに下記を書けばOK。
これは冒頭にも書きました。シャッフルとバッチだけでいいんです。
ds = ds.shuffle(count)
ds = ds.batch(batch_size, drop_remainder=True)
ds = ds.prefetch(buffer_size=AUTOTUNE)
なぜrepeat書いてあるのか？問題
では公式tutorialではそもそもなぜrepeatをしているのでしょう。
これは推測ですが、1epochって別に厳密な定義がなくて、1epochで何ステップ回すか、というのは自由に考えれば良いという意味だと思います。例えばaugmentationをする場合、1epochで全画像を1周することにどれだけ意味があるか？という問題があります。画像がloadされるたびに、RandomにAugmentationされるとしたら、データセット1周ってなんでしょう。
そういう観点から言っても、1epochで何step学習するかまで好きに設計して学習をしたほうが良いという、tensorflowのtutorial開発者の少し深い考え方かなぁ、と。下記のkerasのfit関数も、steps_per_epochは設定しなければcount/batch_sizeで計算されますが、設定してあげれば自由に設定が可能です。
model.fit(ds, epochs=1, steps_per_epoch=100)
ちなみにrepeatを使わないdsを引き渡して、count/batch_size以上のsteps_per_epochを設定すると下記のようなエラーがでます。
29/36 [=======================>......] - ETA: 11s - loss: 4.4318 - accuracy: 0.2248WARNING:tensorflow:Your input ran out of data; interrupting training. Make sure that your dataset or generator can generate at least `steps_per_epoch * epochs` batches (in this case, 36 batches). You may need to use the repeat() function when building your dataset.
36/36 [==============================] - 53s 1s/step - loss: 4.0827 - accuracy: 0.2321
<tensorflow.python.keras.callbacks.History at 0x10c9b3750>
augmentationを使わないような例では、むしろわかりづらいので、今回書いたshuffleとbatchだけを使ったほうがシンプルで良いかなぁ、と考えます。他にもなにか情報や考え方をご存じの方は是非教えて下さい。datasetを使って良いニューラルネットワークライフを！