我正在训练CNN按主题对文本进行分类。当我使用二进制交叉熵时，我得到~80%的准确率，使用分类交叉熵时，我得到~50%的准确率。
我不明白为什么会这样。这是一个多类问题，这是不是意味着我必须使用分类交叉熵而二元交叉熵的结果是没有意义的?
model.add(embedding_layer)
model.add(Dropout(0.25))
# convolution layers
model.add(Conv1D(nb_filter=32,
filter_length=4,
border_mode='valid',
activation='relu'))
model.add(MaxPooling1D(pool_length=2))
# dense layers
model.add(Flatten())
model.add(Dense(256))
model.add(Dropout(0.25))
model.add(Activation('relu'))
# output layer
model.add(Dense(len(class_id_index)))
model.add(Activation('softmax'))
然后我用categorical_crossentropy作为损失函数编译它:
model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])
or
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])
直观地说，我为什么要使用分类交叉熵，我不明白为什么我用二进制得到好的结果，而用分类得到的结果很差。
这是一个很有趣的案例。实际上，在你的设置中，下面的语句是正确的:
binary_crossentropy = len(class_id_index) * categorical_crossentropy
这意味着在一个常数乘法因子之前，你的损失是相等的。你在训练阶段观察到的奇怪行为可能是以下现象的一个例子:
At the beginning the most frequent class is dominating the loss - so network is learning to predict mostly this class for every example.
After it learnt the most frequent pattern it starts discriminating among less frequent classes. But when you are using adam - the learning rate has a much smaller value than it had at the beginning of training (it's because of the nature of this optimizer). It makes training slower and prevents your network from e.g. leaving a poor local minimum less possible.
这就是为什么这个常量因子在binary_crossentropy的情况下可能有用。在许多个epoch之后-学习率值大于在categorical_crossentropy情况。当我注意到这种行为或/和使用以下模式调整类权重时，我通常会重新开始训练(和学习阶段)几次:
class_weight = 1 / class_frequency
这使得不太频繁的类的损失在训练开始时和优化过程的进一步部分平衡了主导类损失的影响。
编辑:
事实上，我检查了，即使在数学方面
binary_crossentropy = len(class_id_index) * categorical_crossentropy
应该成立——对于keras，这不是真的，因为keras会自动将所有输出归一化为和为1。这就是这种奇怪行为背后的实际原因，因为在多分类的情况下，这种规范化会损害训练。
您正在传递一个形状的目标数组(x-dim, y-dim)，同时使用作为损失categorical_crossentropy。Categorical_crossentropy期望目标是形状(样本，类)的二进制矩阵(1和0)。如果你的目标是整数类，你可以通过以下方法将它们转换为预期的格式:
from keras.utils import to_categorical
y_binary = to_categorical(y_int)
或者，您也可以使用损失函数sparse_categorical_crossentropy，它需要整数目标。
model.compile(loss='sparse_categorical_crossentropy', optimizer='adam', metrics=['accuracy'])
