为什么binary_crossentropy和categorical_crossentropy对同一个问题给出不同的性能?

我正在训练CNN按主题对文本进行分类。当我使用二进制交叉熵时，我得到~80%的准确率，使用分类交叉熵时，我得到~50%的准确率。

我不明白为什么会这样。这是一个多类问题，这是不是意味着我必须使用分类交叉熵而二元交叉熵的结果是没有意义的?

model.add(embedding_layer)
model.add(Dropout(0.25))
# convolution layers
model.add(Conv1D(nb_filter=32,
                    filter_length=4,
                    border_mode='valid',
                    activation='relu'))
model.add(MaxPooling1D(pool_length=2))
# dense layers
model.add(Flatten())
model.add(Dense(256))
model.add(Dropout(0.25))
model.add(Activation('relu'))
# output layer
model.add(Dense(len(class_id_index)))
model.add(Activation('softmax'))

然后我用categorical_crossentropy作为损失函数编译它:

model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])

model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])

直观地说，我为什么要使用分类交叉熵，我不明白为什么我用二进制得到好的结果，而用分类得到的结果很差。

当前回答

在评论@Marcin的答案后，我更仔细地检查了我的一个学生的代码，在那里我发现了同样奇怪的行为，即使只有2个纪元!(所以@Marcin的解释在我的情况下不太可能)。

我发现答案其实很简单:当使用超过2个标签的binary_crossentropy时，用Keras方法evaluate计算的准确性完全错误。你可以自己重新计算准确率(首先调用Keras方法“predict”，然后计算由predict返回的正确答案的数量):你得到了真正的准确率，这比Keras的“evaluate”要低得多。

2017-06-12 12:02:11

其他回答

一个简单的例子下一个多类设置来说明

假设您有4个类(其中一个是编码的)，下面只有一个预测

True_label = [0,1,0,0] Predicted_label = [0,0,1,0]

当使用categorical_crossentropy时，准确率仅为0，它只关心你是否得到了相关的类。

然而，当使用binary_crossentropy时，对所有类都计算精度，这个预测的准确率为50%。最终结果将是两种情况下个体准确度的平均值。

对于多类(类是互斥的)问题，建议使用categorical_crossentropy;对于多标签问题，建议使用binary_crossentropy。

2018-12-29 09:13:41

这完全取决于你要处理的分类问题的类型。主要有三个类别

二元分类(两个目标类)，多类分类(两个以上专属目标)，多标签分类(两个以上的非排他目标)，其中多个目标类别可以同时打开。

在第一种情况下，应该使用二进制交叉熵，目标应该被编码为单热向量。