问题:我正在训练一个多标签图像识别的模型。因此,我的图像与多个y标签相关联。这与ImageDataGenerator的方便keras方法flow_from_directory冲突,其中每个图像都应该在相应标签(https://keras.io/preprocessing/image/)的文件夹中。
解决方法:目前,我正在将所有图像读取到一个numpy数组中,并从中使用“flow”函数。但这会导致沉重的内存负载和缓慢的读入过程。
问题:有没有一种方法可以使用“flow_from_directory”方法并手动提供(多个)类标签?
更新:我最终扩展了多标签案例的DirectoryIterator类。现在可以将属性“class_mode”设置为值“multilabel”,并提供一个字典“multlabel_classes”,用于将文件名映射到它们的标签。代码:https://github.com/tholor/keras/commit/29ceafca3c4792cb480829c5768510e4bdb489c5
您可以简单地使用来自目录的流,\u
,并通过以下方式将其扩展到多类:
def multiclass_flow_from_directory(flow_from_directory_gen, multiclasses_getter):
for x, y in flow_from_directory_gen:
yield x, multiclasses_getter(x, y)
其中,multiclasses\u getter
为图像指定一个多类向量/您的多类表示。请注意,x
和y
不是一个单独的示例,而是一批示例,因此这应该包括在您的multi-class\u-getter
设计中。
您可以编写一个自定义生成器类,从目录中读取文件并应用标签。该自定义生成器还可以接收ImageDataGenerator实例,该实例将使用flow()生成批处理。
我在想象这样的事情:
class Generator():
def __init__(self, X, Y, img_data_gen, batch_size):
self.X = X
self.Y = Y # Maybe a file that has the appropriate label mapping?
self.img_data_gen = img_data_gen # The ImageDataGenerator Instance
self.batch_size = batch_size
def apply_labels(self):
# Code to apply labels to each sample based on self.X and self.Y
def get_next_batch(self):
"""Get the next training batch"""
self.img_data_gen.flow(self.X, self.Y, self.batch_size)
然后简单地说:
img_gen = ImageDataGenerator(...)
gen = Generator(X, Y, img_gen, 128)
model.fit_generator(gen.get_next_batch(), ...)
*免责声明:我还没有实际测试过这个,但它在理论上应该可以工作。
# Training the model
history = model.fit(train_generator, steps_per_epoch=steps_per_epoch, epochs=3, validation_data=val_generator,validation_steps=validation_steps, verbose=1,
callbacks= keras.callbacks.ModelCheckpoint(filepath='/content/results',monitor='val_accuracy', save_best_only=True,save_weights_only=False))
验证步骤
或每个历元的步骤
可能超过原始参数的步骤。
steps_per_epoch=(int(num_of_training_examples/batch_size)
可能会有所帮助。类似的validation_steps=(int(num_of_val_examples/batch_size)
将帮助