我使用Keras lib构建了暹罗神经网络。我的模型有两个输入形状(64,64,3),两个预先训练的ResNet-50。损失函数是二元交叉熵。
该模型是基于本文的一个链接
在训练过程中,我有很好的trait/val准确性,约为0.99/0.98,低损耗0.01/0.05。
但是当我测试我保存的模型时,我得到了不好的结果。模型甚至不能识别两张相同的图片。
我还注意到了奇怪的行为:纪元的数量越多,结果就越糟糕。例如,比较两幅相同的图像,使用10个历元训练的模型给出预测:“8.jpg”:0.5180479884147644,但使用100个历元训练的同一模型给出“8.jpg”:5.579867080537926E-13,但对于100个历元,我有更好的训练结果。
我尝试过CNN的不同模型:ResNet18,不同的输入形状,比如(224224,3)或(128128,3)。
此外,我还使用了triad,不使用预训练模型,仅使用ResNet50/ResNet18,不使用预训练权重。但我在测试真实模型时也有同样糟糕的结果。
我的代码是
def create_base_model(image_shape, dropout_rate, suffix=''):
I1 = Input(shape=image_shape)
model = ResNet50(include_top=False, weights='imagenet', input_tensor=I1, pooling=None)
model.layers.pop()
model.outputs = [model.layers[-1].output]
model.layers[-1].outbound_nodes = []
for layer in model.layers:
layer.name = layer.name + str(suffix)
layer.trainable = False
flatten_name = 'flatten' + str(suffix)
x = model.output
x = Flatten(name=flatten_name)(x)
x = Dense(1024, activation='relu')(x)
x = Dropout(dropout_rate)(x)
x = Dense(512, activation='relu')(x)
x = Dropout(dropout_rate)(x)
return x, model.input
def create_siamese_model(image_shape, dropout_rate):
output_left, input_left = create_base_model(image_shape, dropout_rate)
output_right, input_right = create_base_model(image_shape, dropout_rate, suffix="_2")
L1_layer = Lambda(lambda tensors: tf.abs(tensors[0] - tensors[1]))
L1_distance = L1_layer([output_left, output_right])
L1_prediction = Dense(1, use_bias=True,
activation='sigmoid',
kernel_initializer=RandomNormal(mean=0.0, stddev=0.001),
name='weighted-average')(L1_distance)
prediction = Dropout(0.2)(L1_prediction)
siamese_model = Model(inputs=[input_left, input_right], outputs=prediction)
return siamese_model
siamese_model = create_siamese_model(image_shape=(64, 64, 3),
dropout_rate=0.2)
siamese_model.compile(loss='binary_crossentropy',
optimizer=Adam(lr=0.0001),
metrics=['binary_crossentropy', 'acc'])
siamese_model.fit_generator(train_gen,
steps_per_epoch=1000,
epochs=10,
verbose=1,
callbacks=[checkpoint, tensor_board_callback, lr_reducer, early_stopper, csv_logger],
validation_data=validation_data,
max_q_size=3)
siamese_model.save('siamese_model.h5')
# and the my prediction
siamese_net = load_model('siamese_model.h5', custom_objects={"tf": tf})
X_1 = [image, ] * len(markers)
batch = [markers, X_1]
result = siamese_net.predict_on_batch(batch)
# I've tried also to check identical images
markers = [image]
X_1 = [image, ] * len(markers)
batch = [markers, X_1]
result = siamese_net.predict_on_batch(batch)
我对我的预测方法有些怀疑。有人能帮我找出预测的错误吗?
你得到的是预期的。我不知道你说的是什么意思
我还注意到了奇怪的行为:纪元的数量越多,结果就越糟糕。
但是你展示的结果是有效的和预期的。让我们从模型输出的内容开始。您的模型输出是第一和第二输入之间的(标准化)距离。如果输入相似,那么距离应该接近于零。随着训练步数的增加,模型学会识别输入,即如果输入相似,模型学会输出接近零的值,如果输入不同,模型学会输出接近一的值。所以,
... 用10个历元训练的模型给出预测:“8.jpg”:0.5180479884147644,但用100个历元训练的同一模型给出“8.jpg”:5.579867080537926E-13,但对于100个历元,我有更好的训练结果。
,确认模型已了解到两个输入相似,输出5.579867080537926E-13~0
(接近0)。
虽然模型表现良好,但我在模型定义中观察到一个问题:-输出层是退出层。Dropout不是有效的输出层。你通过这个设置做的是,随机的概率0.2,你将模型的输出设置为零。
让我们假设目标变量有1(两个输入不同),模型已经学会正确识别图像,并在Dropout层之前输出接近1的值。让我们进一步假设Dropout层已经决定将输出设置为零。所以模型输出将为零。即使退色层之前的层表现良好,但由于退色层,它们将受到惩罚。如果这不是你正在寻找的,然后删除最后一个退出层。
L1_prediction = Dense(1, use_bias=True,
activation='sigmoid',
kernel_initializer=RandomNormal(mean=0.0, stddev=0.001),
name='weighted-average')(L1_distance)
siamese_model = Model(inputs=[input_left, input_right], outputs=L1_prediction)
然而,有时如果要向模型添加噪声,则需要这种行为。当值为1时,随机更改目标变量具有相同的效果。