我知道梯度下降和反向传播算法。我不明白的是:什么时候使用偏见是重要的，你如何使用它?
例如，在映射AND函数时，当我使用两个输入和一个输出时，它不会给出正确的权重。然而，当我使用三个输入(其中一个是偏差)时，它给出了正确的权重。
当前回答
如果您正在处理图像，实际上可能更喜欢完全不使用偏置。从理论上讲，这样你的网络将更独立于数据量，比如图片是暗的，还是亮的和生动的。网络将通过研究你的数据中的相对性来学习它的工作。很多现代神经网络都利用了这一点。
对于其他有偏差的数据可能是至关重要的。这取决于你要处理什么类型的数据。如果您的信息是大小不变的——如果输入[1,0,0.1]应该会导致与输入[100,0,10]相同的结果，那么没有偏差可能会更好。
其他回答
偏差有助于得到更好的方程。
想象一下，输入和输出就像一个函数y = ax + b，你需要在输入(x)和输出(y)之间画一条正确的线，以最小化每个点和直线之间的全局误差，如果你保持这样的方程y = ax，你将只有一个参数用于适应，即使你找到了最小化全局误差的最佳参数，它也会离你想要的值很远。
你可以说，偏差使方程更灵活，以适应最佳值
偏差决定了你的体重旋转的角度。
在二维图表中，权重和偏差可以帮助我们找到输出的决策边界。
假设我们需要构建一个AND函数，输入(p)-输出(t)对应该是
{p=[0，0]， t=0}，{p=[1，0]， t=0}，{p=[0，1]， t=0}，{p=[1，1]， t=1}
现在我们需要找到一个决策边界，理想的边界应该是:
看到了吗?W垂直于边界。因此，我们说W决定了边界的方向。
但是，第一次找到正确的W是很困难的。大多数情况下，我们随机选择原始W值。因此，第一个边界可能是这样的:
现在边界平行于y轴。
我们要旋转边界。如何?
通过改变W。
因此，我们使用学习规则函数W'=W+P:
W'=W+P等价于W'=W+ bP，而b=1。
因此，通过改变b(bias)的值，就可以决定W’和W之间的夹角，这就是“ANN的学习规则”。
你也可以阅读Martin T. Hagan / Howard B. Demuth / Mark H. Beale的《神经网络设计》，第4章“感知器学习规则”。
扩展zfy的解释:
一个输入，一个神经元，一个输出的方程如下:
y = a * x + b * 1 and out = f(y)
其中x是输入节点的值，1是偏置节点的值; Y可以直接作为输出，也可以传递给一个函数，通常是一个sigmoid函数。还要注意，偏差可以是任何常数，但为了使一切更简单，我们总是选择1(可能这太常见了，zfy没有显示和解释它)。
你的网络试图学习系数a和b来适应你的数据。 所以你可以看到为什么添加元素b * 1可以让它更好地适应更多的数据:现在你可以改变斜率和截距。
如果你有一个以上的输入，你的方程将是这样的:
y = a0 * x0 + a1 * x1 + ... + aN * 1
请注意，这个方程仍然描述一个神经元，一个输出网络;如果你有更多的神经元，你只需在系数矩阵中增加一个维度，将输入相乘到所有节点，然后将每个节点的贡献相加。
可以写成向量化的形式
A = [a0, a1, .., aN] , X = [x0, x1, ..., 1]
Y = A . XT
即，将系数放在一个数组中，(输入+偏差)放在另一个数组中，你就有了你想要的解决方案，作为两个向量的点积(你需要转置X的形状是正确的，我写了XT a 'X转置')
所以最后你也可以看到你的偏差只是一个输入来代表输出的那部分实际上是独立于你的输入的。
偏见是我们的锚。对我们来说，这是一种设定底线的方式，我们不会低于这个标准。从图的角度来看，y=mx+b就像这个函数的y轴截距。
输出=输入乘以权重值并加上偏置值，然后应用激活函数。
单独修改神经元WEIGHTS只用于操纵传递函数的形状/曲率，而不是它的平衡/零交叉点。
引入偏置神经元允许您沿着输入轴水平(左/右)移动传递函数曲线，同时保持形状/曲率不变。 这将允许网络产生不同于默认值的任意输出，因此您可以自定义/移动输入到输出映射以满足您的特定需求。
请看这里的图表解释: http://www.heatonresearch.com/wiki/Bias
