不同的模型归纳如下表:

图片来源:监督学习小抄-斯坦福CS 229(机器学习)

假设你有一个输入数据x，你想把数据分类为标签y。生成模型学习联合概率分布p(x,y)，判别模型学习条件概率分布p(y|x)——你应该把它理解为“给定x的y的概率”。

这里有一个非常简单的例子。假设你有(x,y)形式的以下数据:

(1,0), (1,0), (2,0), (2, 1)

p (x, y)

      y=0   y=1
     -----------
x=1 | 1/2   0
x=2 | 1/4   1/4

p (y | x)

      y=0   y=1
     -----------
x=1 | 1     0
x=2 | 1/2   1/2

如果你花几分钟时间盯着这两个矩阵看，你就会明白这两个概率分布之间的区别。

分布p(y|x)是将给定示例x分类为y类的自然分布，这就是为什么直接对其建模的算法被称为判别算法。生成算法建模p(x,y)，应用贝叶斯规则将p(y|x)转化为p(y|x)，用于分类。然而，分布p(x,y)也可以用于其他目的。例如，您可以使用p(x,y)来生成可能的(x,y)对。

从上面的描述中，您可能会认为生成模型更普遍，因此更好，但它并不是那么简单。这篇论文是关于区分分类器和生成分类器的一个非常流行的参考，但它相当沉重。总的要点是，在分类任务中，判别模型通常优于生成模型。

生成算法对数据如何生成进行建模，以便对信号进行分类。它提出了一个问题:根据我的世代假设，哪个类别最有可能产生这个信号?

判别算法并不关心数据是如何产生的，它只是对给定的信号进行分类。

在实践中，模型的使用如下。

在判别模型中，为了从训练例x中预测标签y，你必须评估:

它只是在考虑x的情况下选择最有可能的类别y。这就像我们试图在类别之间建立决策边界的模型。这种行为在神经网络中非常明显，其中计算的权重可以被视为一个复杂形状的曲线，将空间中一个类的元素隔离开来。

现在，用贝叶斯法则，把方程中的替换为。因为你只对arg max感兴趣，你可以擦掉分母，这对每个y都是一样的，所以，你剩下

这是你在生成模型中使用的方程。

在第一种情况下，你有条件概率分布p(y|x)，它模拟了类之间的边界，在第二种情况下，你有联合概率分布p(x, y)，因为p(x | y) p(y) = p(x, y)，它显式地模拟了每个类的实际分布。

对于联合概率分布函数，给定一个y，你可以计算(“生成”)它各自的x。因此，它们被称为“生成”模型。

我的观点是: 歧视性的方法突出了差异 生成方法不关注差异;他们试图建立一个能代表班级的模型。 两者之间有重叠之处。 理想情况下，两种方法都应该使用:一种有助于发现相似之处，另一种有助于发现不同之处。

之前的答案都很好，我想再补充一点。

从生成算法模型中，我们可以推导出任何分布;而我们只能从判别算法模型中得到条件分布P(Y|X)(或者我们可以说它们只对判别Y的标签有用)，这就是为什么它被称为判别模型。判别模型不假设X是独立的给定Y($X_i \perp X_{-i} | Y$)，因此通常更强大的计算条件分布。