我知道梯度下降和反向传播算法。我不明白的是:什么时候使用偏见是重要的，你如何使用它?
例如，在映射AND函数时，当我使用两个输入和一个输出时，它不会给出正确的权重。然而，当我使用三个输入(其中一个是偏差)时，它给出了正确的权重。
当前回答
当您使用ann时，您很少了解您想要学习的系统的内部结构。有些东西没有偏见是学不来的。例如，看一下下面的数据:(0,1)，(1,1)，(2,1)，基本上是一个将任何x映射到1的函数。
如果你有一个单层网络(或线性映射)，你无法找到解决方案。然而，如果你有偏见，那就无关紧要了!
在理想情况下，偏差还可以将所有点映射到目标点的平均值，并让隐藏的神经元模拟该点的差异。
其他回答
偏见是我们的锚。对我们来说，这是一种设定底线的方式，我们不会低于这个标准。从图的角度来看，y=mx+b就像这个函数的y轴截距。
输出=输入乘以权重值并加上偏置值，然后应用激活函数。
偏差有助于得到更好的方程。
想象一下，输入和输出就像一个函数y = ax + b，你需要在输入(x)和输出(y)之间画一条正确的线，以最小化每个点和直线之间的全局误差，如果你保持这样的方程y = ax，你将只有一个参数用于适应，即使你找到了最小化全局误差的最佳参数，它也会离你想要的值很远。
你可以说，偏差使方程更灵活，以适应最佳值
单独修改神经元WEIGHTS只用于操纵传递函数的形状/曲率，而不是它的平衡/零交叉点。
引入偏置神经元允许您沿着输入轴水平(左/右)移动传递函数曲线，同时保持形状/曲率不变。 这将允许网络产生不同于默认值的任意输出，因此您可以自定义/移动输入到输出映射以满足您的特定需求。
请看这里的图表解释: http://www.heatonresearch.com/wiki/Bias
我认为偏见几乎总是有益的。实际上，偏差值允许您将激活函数向左或向右移动，这可能对成功学习至关重要。
看一个简单的例子可能会有所帮助。考虑这个无偏差的1输入1输出网络:
网络的输出是通过将输入(x)乘以权重(w0)并将结果传递给某种激活函数(例如sigmoid函数)来计算的。
下面是这个网络计算的函数，对于不同的w0值:
改变权重w0本质上改变了s型曲线的“陡度”。这很有用，但是如果你想让x = 2时网络输出0呢?仅仅改变s型曲线的陡度是行不通的——你希望能够将整条曲线向右平移。
这正是偏差允许你做的。如果我们给这个网络加上一个偏差，像这样:
.．.然后网络的输出变成sig(w0*x + w1*1.0)。下面是不同w1值的网络输出:
如果w1的权值为-5，曲线就会向右平移，这样当x = 2时，网络的输出就会为0。
在我的硕士论文中的几个实验中(例如第59页)，我发现偏差可能对第一层很重要，但特别是在最后的完全连接层，它似乎没有发挥很大的作用。
这可能高度依赖于网络架构/数据集。
