偏见是我们的锚。对我们来说，这是一种设定底线的方式，我们不会低于这个标准。从图的角度来看，y=mx+b就像这个函数的y轴截距。

输出=输入乘以权重值并加上偏置值，然后应用激活函数。

Two different kinds of parameters can be adjusted during the training of an ANN, the weights and the value in the activation functions. This is impractical and it would be easier if only one of the parameters should be adjusted. To cope with this problem a bias neuron is invented. The bias neuron lies in one layer, is connected to all the neurons in the next layer, but none in the previous layer and it always emits 1. Since the bias neuron emits 1 the weights, connected to the bias neuron, are added directly to the combined sum of the other weights (equation 2.1), just like the t value in the activation functions.1

它不实用的原因是，您同时调整权重和值，因此对权重的任何更改都会抵消对先前数据实例有用的值的更改……在不改变值的情况下添加偏置神经元可以让你控制层的行为。

此外，偏差允许您使用单个神经网络来表示类似的情况。考虑由以下神经网络表示的AND布尔函数:

(来源:aihorizon.com)

W0对应于b。 W1对应x1。 W2对应于x2。

A single perceptron can be used to represent many boolean functions. For example, if we assume boolean values of 1 (true) and -1 (false), then one way to use a two-input perceptron to implement the AND function is to set the weights w0 = -3, and w1 = w2 = .5. This perceptron can be made to represent the OR function instead by altering the threshold to w0 = -.3. In fact, AND and OR can be viewed as special cases of m-of-n functions: that is, functions where at least m of the n inputs to the perceptron must be true. The OR function corresponds to m = 1 and the AND function to m = n. Any m-of-n function is easily represented using a perceptron by setting all input weights to the same value (e.g., 0.5) and then setting the threshold w0 accordingly. Perceptrons can represent all of the primitive boolean functions AND, OR, NAND ( 1 AND), and NOR ( 1 OR). Machine Learning- Tom Mitchell)

阈值是偏置，w0是与偏置/阈值神经元相关的权重。

单独修改神经元WEIGHTS只用于操纵传递函数的形状/曲率，而不是它的平衡/零交叉点。

引入偏置神经元允许您沿着输入轴水平(左/右)移动传递函数曲线，同时保持形状/曲率不变。 这将允许网络产生不同于默认值的任意输出，因此您可以自定义/移动输入到输出映射以满足您的特定需求。

请看这里的图表解释: http://www.heatonresearch.com/wiki/Bias

偏差决定了你的体重旋转的角度。

在二维图表中，权重和偏差可以帮助我们找到输出的决策边界。

假设我们需要构建一个AND函数，输入(p)-输出(t)对应该是

{p=[0，0]， t=0}，{p=[1，0]， t=0}，{p=[0，1]， t=0}，{p=[1，1]， t=1}

现在我们需要找到一个决策边界，理想的边界应该是:

看到了吗?W垂直于边界。因此，我们说W决定了边界的方向。

但是，第一次找到正确的W是很困难的。大多数情况下，我们随机选择原始W值。因此，第一个边界可能是这样的:

现在边界平行于y轴。

我们要旋转边界。如何?

通过改变W。

因此，我们使用学习规则函数W'=W+P:

W'=W+P等价于W'=W+ bP，而b=1。

因此，通过改变b(bias)的值，就可以决定W’和W之间的夹角，这就是“ANN的学习规则”。

你也可以阅读Martin T. Hagan / Howard B. Demuth / Mark H. Beale的《神经网络设计》，第4章“感知器学习规则”。

在我研究的所有ML书籍中，W总是被定义为两个神经元之间的连通性指数，这意味着两个神经元之间的连通性更高。

放电神经元向目标神经元或Y = w * X传递的信号越强，为了保持神经元的生物学特性，我们需要保持1 >= w >= -1，但在实际回归中，w最终会变成| w | >=1，这与神经元的工作方式相矛盾。

因此，我提出W = cos(theta)，而1 >= |cos(theta)|， Y= a * X = W * X + b而a = b + W = b + cos(theta)， b是一个整数。

我认为偏见几乎总是有益的。实际上，偏差值允许您将激活函数向左或向右移动，这可能对成功学习至关重要。

看一个简单的例子可能会有所帮助。考虑这个无偏差的1输入1输出网络:

网络的输出是通过将输入(x)乘以权重(w0)并将结果传递给某种激活函数(例如sigmoid函数)来计算的。

下面是这个网络计算的函数，对于不同的w0值:

改变权重w0本质上改变了s型曲线的“陡度”。这很有用，但是如果你想让x = 2时网络输出0呢?仅仅改变s型曲线的陡度是行不通的——你希望能够将整条曲线向右平移。

这正是偏差允许你做的。如果我们给这个网络加上一个偏差，像这样:

.．.然后网络的输出变成sig(w0*x + w1*1.0)。下面是不同w1值的网络输出:

如果w1的权值为-5，曲线就会向右平移，这样当x = 2时，网络的输出就会为0。