偏差不是一个神经网络项。这是一个通用的代数术语。

Y = M*X + C(直线方程)

现在如果C(Bias) = 0，那么这条线将始终经过原点，即(0,0)，并且只依赖于一个参数，即M，这是斜率，所以我们有更少的东西可以处理。

C，也就是偏置取任意数，都能移动图形，因此能够表示更复杂的情况。

在逻辑回归中，目标的期望值通过链接函数进行转换，以限制其值为单位区间。这样，模型预测可以被视为主要结果概率，如下所示:

Wikipedia上的Sigmoid函数

这是神经网络映射中打开和关闭神经元的最后一个激活层。在这里，偏差也发挥了作用，它灵活地平移曲线，帮助我们绘制模型。

如果您正在处理图像，实际上可能更喜欢完全不使用偏置。从理论上讲，这样你的网络将更独立于数据量，比如图片是暗的，还是亮的和生动的。网络将通过研究你的数据中的相对性来学习它的工作。很多现代神经网络都利用了这一点。

对于其他有偏差的数据可能是至关重要的。这取决于你要处理什么类型的数据。如果您的信息是大小不变的——如果输入[1,0,0.1]应该会导致与输入[100,0,10]相同的结果，那么没有偏差可能会更好。

术语偏差用于调整最终输出矩阵，就像y截距一样。例如，在经典方程y = mx + c中，如果c = 0，那么直线将始终经过0。添加偏差项为我们的神经网络模型提供了更大的灵活性和更好的泛化。

在神经网络中:

每个神经元都有一个偏向 您可以将偏差视为阈值(通常是阈值的相反值) 输入层的加权和+偏置决定神经元的激活 偏差增加了模型的灵活性。

在没有偏差的情况下，仅考虑来自输入层的加权和可能不会激活神经元。如果神经元没有被激活，来自该神经元的信息就不会通过神经网络的其余部分传递。

偏见的价值是可以学习的。

实际上，bias = - threshold。你可以把偏差想象成让神经元输出1有多容易，如果偏差很大，神经元输出1很容易，但如果偏差很大，就很难了。

总而言之:偏置有助于控制激活函数的触发值。

观看这段视频了解更多细节。

一些更有用的链接:

Geeksforgeeks

走向数据科学

在我的硕士论文中的几个实验中(例如第59页)，我发现偏差可能对第一层很重要，但特别是在最后的完全连接层，它似乎没有发挥很大的作用。

这可能高度依赖于网络架构/数据集。

扩展zfy的解释:

一个输入，一个神经元，一个输出的方程如下:

y = a * x + b * 1    and out = f(y)

其中x是输入节点的值，1是偏置节点的值; Y可以直接作为输出，也可以传递给一个函数，通常是一个sigmoid函数。还要注意，偏差可以是任何常数，但为了使一切更简单，我们总是选择1(可能这太常见了，zfy没有显示和解释它)。

你的网络试图学习系数a和b来适应你的数据。 所以你可以看到为什么添加元素b * 1可以让它更好地适应更多的数据:现在你可以改变斜率和截距。

如果你有一个以上的输入，你的方程将是这样的:

y = a0 * x0 + a1 * x1 + ... + aN * 1

请注意，这个方程仍然描述一个神经元，一个输出网络;如果你有更多的神经元，你只需在系数矩阵中增加一个维度，将输入相乘到所有节点，然后将每个节点的贡献相加。

可以写成向量化的形式

A = [a0, a1, .., aN] , X = [x0, x1, ..., 1]
Y = A . XT

即，将系数放在一个数组中，(输入+偏差)放在另一个数组中，你就有了你想要的解决方案，作为两个向量的点积(你需要转置X的形状是正确的，我写了XT a 'X转置')

所以最后你也可以看到你的偏差只是一个输入来代表输出的那部分实际上是独立于你的输入的。