之前的答案都很好，我想再补充一点。

从生成算法模型中，我们可以推导出任何分布;而我们只能从判别算法模型中得到条件分布P(Y|X)(或者我们可以说它们只对判别Y的标签有用)，这就是为什么它被称为判别模型。判别模型不假设X是独立的给定Y($X_i \perp X_{-i} | Y$)，因此通常更强大的计算条件分布。

之前的答案都很好，我想再补充一点。

从生成算法模型中，我们可以推导出任何分布;而我们只能从判别算法模型中得到条件分布P(Y|X)(或者我们可以说它们只对判别Y的标签有用)，这就是为什么它被称为判别模型。判别模型不假设X是独立的给定Y($X_i \perp X_{-i} | Y$)，因此通常更强大的计算条件分布。

这是一个额外的信息点，与上面StompChicken的回答相吻合。

判别模型和生成模型的根本区别在于:

判别模型学习类之间的(硬的或软的)边界 生成模型为单个类的分布建模

编辑:

生成式模型是可以生成数据的模型。它同时对特征和类(即完整的数据)建模。

如果我们对P(x,y)建模:我可以使用这个概率分布来生成数据点——因此所有建模P(x,y)的算法都是生成的。

如。生成模型

朴素贝叶斯模型P(c)和P(d|c) -其中c是类，d是特征向量。 P(c,d) = P(c) * P(d|c) 因此，某些形式的朴素贝叶斯模型，P(c,d) 贝叶斯网 马尔可夫网

判别模型是指只能用于对数据点进行判别/分类的模型。 你只需要在这种情况下建模P(y|x)，(即给定特征向量的类别概率)。

如。关于判别模型:

逻辑回归 神经网络 条件随机场

一般来说，生成式模型比判别式模型需要更多的建模，因此有时不那么有效。事实上，大多数(不确定是否全部)无监督学习算法，如聚类等，可以被称为生成式，因为它们建模P(d)(并且没有类:P)

附言:部分答案来源于原文

我的观点是: 歧视性的方法突出了差异 生成方法不关注差异;他们试图建立一个能代表班级的模型。 两者之间有重叠之处。 理想情况下，两种方法都应该使用:一种有助于发现相似之处，另一种有助于发现不同之处。

生成算法对数据如何生成进行建模，以便对信号进行分类。它提出了一个问题:根据我的世代假设，哪个类别最有可能产生这个信号?

判别算法并不关心数据是如何产生的，它只是对给定的信号进行分类。

简短的回答

这里的许多答案都依赖于广泛使用的数学定义[1]:

判别模型直接学习条件预测分布p(y|x)。 生成模型学习联合分布p(x,y)(或者说，p(x|y)和p(y))。 预测分布p(y|x)可以用贝叶斯规则得到。

Although very useful, this narrow definition assumes the supervised setting, and is less handy when examining unsupervised or semi-supervised methods. It also doesn't apply to many contemporary approaches for deep generative modeling. For example, now we have implicit generative models, e.g. Generative Adversarial Networks (GANs), which are sampling-based and don't even explicitly model the probability density p(x) (instead learning a divergence measure via the discriminator network). But we call them "generative models” since they are used to generate (high-dimensional [10]) samples.

一个更广泛、更基本的定义[2]似乎同样适合这个一般性问题:

判别模型学习类之间的边界。 所以他们可以区分不同类型的数据实例。 生成模型学习数据的分布。 因此它们可以生成新的数据实例。

图片来源

仔细观察

即便如此，这个问题还是暗示了一种错误的二分法。生成-判别“二分法”实际上是一个频谱，您甚至可以平滑地在[4]之间插入。

因此，这种区分变得武断和令人困惑，特别是当许多流行的模型并没有整齐地归入其中一个或另一个时[5,6]，或者实际上是混合模型(经典的“判别”和“生成”模型的组合)。

尽管如此，这仍然是一个非常有用和常见的区别。我们可以列出一些生成式和判别式模型的明确例子，既有标准的，也有最近的:

生成:朴素贝叶斯，潜狄利克雷分配(LDA)，生成对抗网络(GAN)，变分自编码器(VAE)，归一化流。 判别:支持向量机(SVM)，逻辑回归，大多数深度神经网络。

还有很多有趣的工作深入研究了生成-判别划分[7]和频谱[4,8]，甚至将判别模型转换为生成模型[9]。

最后，定义在不断变化，尤其是在这个快速发展的领域:)最好对它们有所保留，甚至可以为自己和他人重新定义它们。

来源

Possibly originating from "Machine Learning - Discriminative and Generative" (Tony Jebara, 2004). Crash Course in Machine Learning by Google The Generative-Discriminative Fallacy "Principled Hybrids of Generative and Discriminative Models" (Lasserre et al., 2006) @shimao's question Binu Jasim's answer Comparing logistic regression and naive Bayes: cs.cmu.edu/~tom/mlbook/NBayesLogReg.pdf "On Discriminative vs. Generative classifiers" Comment on "On Discriminative vs. Generative classifiers" https://www.microsoft.com/en-us/research/wp-content/uploads/2016/04/DengJaitly2015-ch1-2.pdf "Your classifier is secretly an energy-based model" (Grathwohl et al., 2019) Stanford CS236 notes: Technically, a probabilistic discriminative model is also a generative model of the labels conditioned on the data. However, the term generative models is typically reserved for high dimensional data.