一个更简单的理解偏差的方法是:它在某种程度上类似于线性函数的常数b

y = ax + b

它允许你上下移动这条线，以便更好地将预测与数据相匹配。

如果没有b，直线总是经过原点(0,0)你可能会得到一个较差的拟合。

如果您正在处理图像，实际上可能更喜欢完全不使用偏置。从理论上讲，这样你的网络将更独立于数据量，比如图片是暗的，还是亮的和生动的。网络将通过研究你的数据中的相对性来学习它的工作。很多现代神经网络都利用了这一点。

对于其他有偏差的数据可能是至关重要的。这取决于你要处理什么类型的数据。如果您的信息是大小不变的——如果输入[1,0,0.1]应该会导致与输入[100,0,10]相同的结果，那么没有偏差可能会更好。

下面是一些进一步的插图，展示了一个简单的2层前馈神经网络在一个双变量回归问题上的结果。权重被随机初始化，并使用标准的ReLU激活。正如我前面的答案所总结的那样，没有偏差，relu网络无法在(0,0)处偏离零。

术语偏差用于调整最终输出矩阵，就像y截距一样。例如，在经典方程y = mx + c中，如果c = 0，那么直线将始终经过0。添加偏差项为我们的神经网络模型提供了更大的灵活性和更好的泛化。

扩展zfy的解释:

一个输入，一个神经元，一个输出的方程如下:

y = a * x + b * 1    and out = f(y)

其中x是输入节点的值，1是偏置节点的值; Y可以直接作为输出，也可以传递给一个函数，通常是一个sigmoid函数。还要注意，偏差可以是任何常数，但为了使一切更简单，我们总是选择1(可能这太常见了，zfy没有显示和解释它)。

你的网络试图学习系数a和b来适应你的数据。 所以你可以看到为什么添加元素b * 1可以让它更好地适应更多的数据:现在你可以改变斜率和截距。

如果你有一个以上的输入，你的方程将是这样的:

y = a0 * x0 + a1 * x1 + ... + aN * 1

请注意，这个方程仍然描述一个神经元，一个输出网络;如果你有更多的神经元，你只需在系数矩阵中增加一个维度，将输入相乘到所有节点，然后将每个节点的贡献相加。

可以写成向量化的形式

A = [a0, a1, .., aN] , X = [x0, x1, ..., 1]
Y = A . XT

即，将系数放在一个数组中，(输入+偏差)放在另一个数组中，你就有了你想要的解决方案，作为两个向量的点积(你需要转置X的形状是正确的，我写了XT a 'X转置')

所以最后你也可以看到你的偏差只是一个输入来代表输出的那部分实际上是独立于你的输入的。

单独修改神经元WEIGHTS只用于操纵传递函数的形状/曲率，而不是它的平衡/零交叉点。

引入偏置神经元允许您沿着输入轴水平(左/右)移动传递函数曲线，同时保持形状/曲率不变。 这将允许网络产生不同于默认值的任意输出，因此您可以自定义/移动输入到输出映射以满足您的特定需求。

请看这里的图表解释: http://www.heatonresearch.com/wiki/Bias