学期的数学动机

当我们希望在0和1之间约束输出时，但我们的模型体系结构输出的是不受约束的值，我们可以添加一个规范化层来实现这一点。

一个常见的选择是sigmoid函数在二元分类中，这通常是逻辑函数，而在多类任务中，这是多项逻辑函数(又称为softmax)

如果我们想将新最终层的输出解释为“概率”，那么(隐含地)我们的sigmoid的无约束输入必须是逆sigmoid(概率)。在逻辑情况下，这相当于概率的对数概率(即概率的对数)，也就是logit:

这就是为什么softmax的参数在Tensorflow中被称为logit——因为在假设softmax是模型中的最后一层，输出p被解释为概率的情况下，这一层的输入x可以解释为logit:

普遍的术语

在机器学习中，有一种倾向于概括从数学/统计/计算机科学中借来的术语，因此在Tensorflow中logit(类比)被用作许多归一化函数输入的同义词。

虽然它有很好的性质，如易于微导，以及前面提到的概率解释，但它有点随意。 Softmax可能更准确地称为softargmax，因为它是argmax函数的平滑近似。

对数是神经网络的非标准化输出。Softmax是一个归一化函数，它压缩神经网络的输出，使它们都在0到1之间，并且和为1。Softmax_cross_entropy_with_logits是一个损失函数，它接收神经网络的输出(在它们被softmax压缩后)和这些输出的真实标签，并返回一个损失值。

学期的数学动机

当我们希望在0和1之间约束输出时，但我们的模型体系结构输出的是不受约束的值，我们可以添加一个规范化层来实现这一点。

一个常见的选择是sigmoid函数在二元分类中，这通常是逻辑函数，而在多类任务中，这是多项逻辑函数(又称为softmax)

如果我们想将新最终层的输出解释为“概率”，那么(隐含地)我们的sigmoid的无约束输入必须是逆sigmoid(概率)。在逻辑情况下，这相当于概率的对数概率(即概率的对数)，也就是logit:

这就是为什么softmax的参数在Tensorflow中被称为logit——因为在假设softmax是模型中的最后一层，输出p被解释为概率的情况下，这一层的输入x可以解释为logit:

普遍的术语

在机器学习中，有一种倾向于概括从数学/统计/计算机科学中借来的术语，因此在Tensorflow中logit(类比)被用作许多归一化函数输入的同义词。

虽然它有很好的性质，如易于微导，以及前面提到的概率解释，但它有点随意。 Softmax可能更准确地称为softargmax，因为它是argmax函数的平滑近似。

还有一件事我肯定想强调，因为logit只是一个原始输出，通常是最后一层的输出。这也可以是负值。如果我们使用它作为“交叉熵”评估，如下所述:

-tf.reduce_sum(y_true * tf.log(logits))

那就没用了。因为log (-ve)没有定义。 因此使用softmax激活，将克服这个问题。

这是我的理解，如果错了请指正。

Tensorflow 2.0兼容答案:dga和stackoverflowuser2010的解释非常详细地介绍了Logits和相关的函数。

当在Tensorflow 1中使用这些函数时。X可以正常工作，但是如果您从1迁移代码。X(1.14, 1.15，等等)到2。X(2.0, 2.1，等等)，使用这些函数会导致错误。

因此，如果我们从1迁移，则为上面讨论的所有函数指定2.0兼容调用。X到2。X，为了社区的利益。

1.x中的函数:

tf.nn.softmax tf.nn.softmax_cross_entropy_with_logits tf.nn.sparse_softmax_cross_entropy_with_logits

从1迁移时各自的函数。X到2.x:

tf.compat.v2.nn.softmax tf.compat.v2.nn.softmax_cross_entropy_with_logits tf.compat.v2.nn.sparse_softmax_cross_entropy_with_logits

有关从1迁移的更多信息。X到2。x，请参考本迁移指南。

以上答案对所问问题有足够的描述。

除此之外，Tensorflow还优化了应用激活函数，然后使用自己的激活和代价函数计算代价的操作。因此，使用tf.nn.softmax_cross_entropy() over tf.nn.softmax()是一个很好的实践;tf.nn.cross_entropy ()

在资源密集型模型中，你可以发现它们之间的显著差异。