我有以下数据形状
X_Train.shape,Y_Train.shape
Out[52]: ((983, 19900), (983,))
X_Test.shape,Y_Test.shape
Out[53]: ((52, 19900), (52,))
我正在运行一个简单的二进制分类器Y_trainY_test可能是1或2
import keras
import tensorflow as tf
from keras import layers
from keras.layers import Input, Dense
from keras.models import Model,Sequential
import numpy as np
from keras.optimizers import Adam
myModel = keras.Sequential([
keras.layers.Dense(1000,activation=tf.nn.relu,input_shape=(19900,)),
keras.layers.Dense(64, activation=tf.nn.relu),
keras.layers.Dense(32, activation=tf.nn.relu),
keras.layers.Dense(1, activation=tf.nn.softmax)
])
myModel.compile(optimizer='adam', loss='sparse_categorical_crossentropy',metrics=['accuracy'])
myModel.fit(X_Train, Y_Train, epochs=100,batch_size=1000)
test_loss,test_acc=myModel.evaluate(X_Test,Y_Test)
守则的输出
训练损失和准确性
Epoch 1/100
983/983 [==============================] - 1s 1ms/step - loss: nan - acc: 0.4608
Epoch 2/100
983/983 [==============================] - 0s 206us/step - loss: nan - acc: 0.4873
Epoch 3/100
983/983 [==============================] - 0s 200us/step - loss: nan - acc: 0.4883
Epoch 4/100
983/983 [==============================] - 0s 197us/step - loss: nan - acc: 0.4883
Epoch 5/100
983/983 [==============================] - 0s 194us/step - loss: nan - acc: 0.4873
Epoch 6/100
983/983 [==============================] - 0s 202us/step - loss: nan - acc: 0.4863
Epoch 7/100
983/983 [==============================] - 0s 198us/step - loss: nan - acc: 0.4863
Epoch 8/100
983/983 [==============================] - 0s 194us/step - loss: nan - acc: 0.4883
Epoch 9/100
983/983 [==============================] - 0s 196us/step - loss: nan - acc: 0.4873
Epoch 10/100
983/983 [==============================] - 0s 198us/step - loss: nan - acc: 0.4873
Epoch 11/100
983/983 [==============================] - 0s 200us/step - loss: nan - acc: 0.4893
Epoch 12/100
983/983 [==============================] - 0s 198us/step - loss: nan - acc: 0.4873
Epoch 13/100
983/983 [==============================] - 0s 194us/step - loss: nan - acc: 0.4873
Epoch 14/100
983/983 [==============================] - 0s 197us/step - loss: nan - acc: 0.4883
Epoch 97/100
983/983 [==============================] - 0s 196us/step - loss: nan - acc: 0.4893
Epoch 98/100
983/983 [==============================] - 0s 199us/step - loss: nan - acc: 0.4883
Epoch 99/100
983/983 [==============================] - 0s 193us/step - loss: nan - acc: 0.4883
Epoch 100/100
983/983 [==============================] - 0s 196us/step - loss: nan - acc: 0.4863
测试损耗和精度
test_loss,test_acc
Out[58]: (nan, 0.4615384661234342)
我还查了下我的数据里有没有nan值
np.isnan(X_Train).any()
Out[5]: False
np.isnan(Y_Train).any()
Out[6]: False
np.isnan(X_Test).any()
Out[7]: False
np.isnan(Y_Test).any()
Out[8]: False
我的问题是为什么我的训练精度没有提高，为什么损失是nan，为什么没有one-Hot编码，输出中的softmax工作正常？
注1：我很抱歉我的数据很大，所以我不能在这里分享，但是如果有一些方法可以在这里分享，那么我已经准备好了。
Note2我的训练数据中有很多零值
有时使用Keras，Relu和Softmax的组合会导致数值问题，因为Relu会产生对应于非常小的概率的大正值。
尝试使用tanh而不是Relu
如果您的NaN值丢失，则意味着输入在函数域之外。发生这种情况的原因有多种。以下是追踪原因的几个步骤，
1）如果输入在函数域之外，则确定这些输入是什么。跟踪输入值到代价函数的级数。
2）检查输入数据集中是否有空值或nan值。可以通过
DataFrame.isnull().any()
3）改变输入数据的缩放。将0到1之间的数据规范化，开始训练。
4）改变权重初始化的方法。
使用深度神经网络很难找到确切的解决方案。因此，尝试上述方法，它应该可以让您公平地了解问题所在。
Softmax激活在这里不是正确的选择。输出层上只有一个神经元。
让我们考虑如何定义softmax函数。（图片来自wikepedia.org）
由于您使用的是sparse_categorical_crossentropy，keras（或张量流）可以从logits的形状推断类的数量。在keras（或张量流）中，logits的形状被假定为[BATCH_SIZE，NUM_CLASSES]。您的logits的形状是[无，1]，因此keras假设您的类的数量是1，但您正在输入多个类（0或1），这导致了错误。
这里正确的激活函数是sigmoid（tanh也可以通过将数据集目标更改为-1或1来工作）。损失应该是binary_crossentropy。
myModel = keras.Sequential([
keras.layers.Dense(1000,activation=tf.nn.relu,input_shape=(19900,)),
keras.layers.Dense(64, activation=tf.nn.relu),
keras.layers.Dense(32, activation=tf.nn.relu),
keras.layers.Dense(1, activation="sigmoid")
])
myModel.compile(optimizer='adam', loss='binary_crossentropy',metrics=['accuracy'])
