Keras ImageDataGeneratorでnumpyアレイ型ファイルをデータ拡張
今回実施した事
- npyファイルで保存された学習用データをKeras ImageDataGeneratorでデータ拡張
- その後、拡張データ数に合わせて、ラベルファイルを作成し、npyファイルとして書き戻し
記事を書いた動機
- 学習用データはnpyファイルで持っておくと扱いやすいが、一度、データ拡張を行うと画像データとして保存され、画像数を増やすとラベルファイルと整合性が取れなくなる。
- しかし、既存のデータ拡張ツール（Keras ImageDataGeneratorや、Augmentor）では、上記の問題を解決してくれる機能は持っていなそうだった（自分が調べた限りでは）
今回は、Keras ImageDataGeneratorを使用して、以下の処理を実装した。
- Image DataGenaratorで、学習用データ（npy）ファイルを読み込み
- ラベル種別毎に、データ拡張を実行
- 拡張したデータ、及びラベルデータをnpyファイルに書き戻し
※データはMNISTの数字10文字想定
###実行環境
- python 3.7.3
- numpy 1.16.2
- tensorflow 1.14.0
- keras 2.2.4
外部ライブラリの読み込み
import numpy as np
from PIL import Image
from keras.preprocessing.image import ImageDataGenerator,load_img,img_to_array
import os
import shutil
import glob
import matplotlib.pyplot as plt
from matplotlib import cm
from tqdm import tqdm
学習用データとラベルデータの読み込み
# 画像読み込み
data = np.load("/tmp/train_data.npy")
label = np.load("/tmp/train_label.npy")
dir_list = glob.glob("/tmp/output_*")
#前回実行時のディレクトリが残っている場合、削除
for rdir in dir_list:
shutil.rmtree(rdir)
データ拡張
# 文字種毎にデータ抽出、データ拡張
for i in range(10):
index = np.where(label[:, i] == 1)
data_c = data[index[0]]
# 軸をN,H,W,Cに入れ替え
data_c = data_c.transpose(0,2,3,1)
# ImageDataGeneratorのオブジェクト生成
datagen = ImageDataGenerator(
shear_range=0.2, #シアー変換
zoom_range=0.2, #ズーム
rotation_range=15) #回転
# 生成後枚数
num_image = 4000
# 保存先ディレクトリの作成
save_path = "/tmp/output_%s/"%i
os.mkdir(save_path)
# データ拡張
g = datagen.flow(data_c, batch_size=1, save_to_dir=save_path, save_format='png', save_prefix='out_a_from_npy_')
for k in range(num_image):
batches = g.next()
データ拡張後の画像ファイルをnpyファイルに変換
IMG_SIZE=28
#True=Grayscale, False=RGB
COLOR=True
#Name to save
SAVE_FILE_NAME='SaveImages'
#shape File Name
if COLOR:
SAVE_FILE_NAME=SAVE_FILE_NAME+'_'+str(IMG_SIZE)+'Gray'
else:
SAVE_FILE_NAME=SAVE_FILE_NAME+'_'+str(IMG_SIZE)+'RGB'
merge_array = np.empty([0,28,28,1])
for l in range(10):
#Name to load images Folder
DIR_NAME='./output_%s'%l
#load madomagi images and reshape
img_list=glob.glob(DIR_NAME+'/*.png')
temp_img_array_list=[]
for img in tqdm(img_list):
temp_img=load_img(img,grayscale=COLOR,target_size=(IMG_SIZE,IMG_SIZE))
temp_img_array=img_to_array(temp_img)
temp_img_array_list.append(temp_img_array)
temp_img_array_list=np.array(temp_img_array_list)
print(temp_img_array_list.shape)
merge_array = np.concatenate([merge_array, temp_img_array_list])
print(merge_array.shape)
merge_array = merge_array.transpose(0,3,1,2)
np.save("train_data_mr.npy",merge_array)
ラベルデータの作成
label_count = []
for i in range(10):
path = "/tmp/output_%s"%i
files = os.listdir(path)
count = len(files)
label_count.append(count)
# 各ラベル作成
char_01=np.array([1,0,0,0,0,0,0,0,0,0,0,0,0,0,0])
char_02=np.array([0,1,0,0,0,0,0,0,0,0,0,0,0,0,0])
char_03=np.array([0,0,1,0,0,0,0,0,0,0,0,0,0,0,0])
char_04=np.array([0,0,0,1,0,0,0,0,0,0,0,0,0,0,0])
char_05=np.array([0,0,0,0,1,0,0,0,0,0,0,0,0,0,0])
char_06=np.array([0,0,0,0,0,1,0,0,0,0,0,0,0,0,0])
char_07=np.array([0,0,0,0,0,0,1,0,0,0,0,0,0,0,0])
char_08=np.array([0,0,0,0,0,0,0,1,0,0,0,0,0,0,0])
char_09=np.array([0,0,0,0,0,0,0,0,1,0,0,0,0,0,0])
char_10=np.array([0,0,0,0,0,0,0,0,0,1,0,0,0,0,0])
for i in range(10):
if i == 0:
array_01 = np.tile(char_01,(label_count[i],1))
if i == 1:
array_02 = np.tile(char_02,(label_count[i],1))
if i == 2:
array_03 = np.tile(char_03,(label_count[i],1))
if i == 3:
array_04 = np.tile(char_04,(label_count[i],1))
if i == 4:
array_05 = np.tile(char_05,(label_count[i],1))
if i == 5:
array_06 = np.tile(char_06,(label_count[i],1))
if i == 6:
array_07 = np.tile(char_07,(label_count[i],1))
if i == 7:
array_08 = np.tile(char_08,(label_count[i],1))
if i == 8:
array_09 = np.tile(char_09,(label_count[i],1))
if i == 9:
array_10 = np.tile(char_10,(label_count[i],1))
label_data_mr = np.concatenate([array_01, array_02, array_03, array_04, array_05, array_06, array_07, array_08, array_09, array_10])
np.save("train_label_mr.npy",label_data_mr)
最後に
- データ拡張のコードについては、Augmentorに置き換えれば流用できそう。Augmentorでしか行えないデータ拡張変換（Perspective skew、Elastic distortion等）も、今後試したい。
- 少々冗長なコードが含まれていて、ラベルの種類が増えてきた場合は辛いかもしれない。