我的看法是，你总是首先运行基本的分类器来了解你的数据。通常情况下(至少在我的经验中)，他们已经足够好了。

所以，如果你有监督数据，训练朴素贝叶斯分类器。如果有无监督数据，可以尝试k-均值聚类。

另一个资源是斯坦福机器学习系列视频中的一个讲座视频，我之前看过。在视频4或5中，我认为，讲师讨论了训练分类器时的一些普遍接受的惯例，优点/权衡等。

使用交叉验证的模型选择可能是您所需要的。

交叉验证

你要做的就是简单地把你的数据集分成k个不重叠的子集(折叠)，用k-1次折叠来训练一个模型，并用你遗漏的折叠来预测它的性能。对每一种可能的折叠组合都要这样做(首先保留第1次折叠，然后是第2次，……，然后是k，用剩下的折叠进行训练)。完成后，估计所有折叠的平均性能(也可能是性能的方差/标准偏差)。

如何选择参数k取决于你拥有的时间。k的通常值是3、5、10甚至N，其中N是数据的大小(这与省略一个交叉验证相同)。我更喜欢5到10个。

模型选择

假设你有5个方法(ANN, SVM, KNN等)和每个方法的10个参数组合(取决于方法)。您只需对每种方法和参数组合(5 * 10 = 50)进行交叉验证，并选择最佳模型、方法和参数。然后你用最好的方法和参数重新训练所有的数据，你就有了最终的模型。

我还有话要说。例如，如果您为每个方法和参数组合使用了许多方法和参数，则很可能会过度拟合。在这种情况下，必须使用嵌套交叉验证。

嵌套交叉验证

在嵌套交叉验证中，对模型选择算法执行交叉验证。

Again, you first split your data into k folds. After each step, you choose k-1 as your training data and the remaining one as your test data. Then you run model selection (the procedure I explained above) for each possible combination of those k folds. After finishing this, you will have k models, one for each combination of folds. After that, you test each model with the remaining test data and choose the best one. Again, after having the last model you train a new one with the same method and parameters on all the data you have. That's your final model.

当然，这些方法还有很多变体，还有其他我没有提到的东西。如果你需要更多关于这些的信息，找一些关于这些主题的出版物。

您应该始终考虑推断与预测之间的权衡。

如果你想了解数据中发生的复杂关系，那么你应该使用丰富的推理算法(例如线性回归或套索)。另一方面，如果你只对结果感兴趣，你可以使用高维和更复杂(但更难以解释)的算法，比如神经网络。

在选择使用哪种算法时，你可能会考虑的事情包括:

Do you need to train incrementally (as opposed to batched)? If you need to update your classifier with new data frequently (or you have tons of data), you'll probably want to use Bayesian. Neural nets and SVM need to work on the training data in one go. Is your data composed of categorical only, or numeric only, or both? I think Bayesian works best with categorical/binomial data. Decision trees can't predict numerical values. Does you or your audience need to understand how the classifier works? Use Bayesian or decision trees, since these can be easily explained to most people. Neural networks and SVM are "black boxes" in the sense that you can't really see how they are classifying data. How much classification speed do you need? SVM's are fast when it comes to classifying since they only need to determine which side of the "line" your data is on. Decision trees can be slow especially when they're complex (e.g. lots of branches). Complexity. Neural nets and SVMs can handle complex non-linear classification.

《OpenCV》这本书有两页在462-463页。在亚马逊预览版中搜索“有区别的”(可能也有谷歌本书)，就能看到相关的页面。这两页是我在这本书中发现的最珍贵的宝石。

简而言之:

增强——当有大量可用的训练数据时通常是有效的。 随机树-通常非常有效，也可以执行回归。 k近邻-你能做的最简单的事情，通常有效但缓慢，需要大量内存。 神经网络——训练速度慢，但运行速度很快，仍然是字母识别的最佳表现。 SVM -在数据有限的情况下是最好的，但只有在大数据集可用时才会输给增强或随机树。

Sam Roweis曾经说过，你应该先尝试朴素贝叶斯，逻辑回归，k近邻和Fisher线性判别。