我的看法是，你总是首先运行基本的分类器来了解你的数据。通常情况下(至少在我的经验中)，他们已经足够好了。

所以，如果你有监督数据，训练朴素贝叶斯分类器。如果有无监督数据，可以尝试k-均值聚类。

另一个资源是斯坦福机器学习系列视频中的一个讲座视频，我之前看过。在视频4或5中，我认为，讲师讨论了训练分类器时的一些普遍接受的惯例，优点/权衡等。

您应该始终考虑推断与预测之间的权衡。

如果你想了解数据中发生的复杂关系，那么你应该使用丰富的推理算法(例如线性回归或套索)。另一方面，如果你只对结果感兴趣，你可以使用高维和更复杂(但更难以解释)的算法，比如神经网络。

使用交叉验证的模型选择可能是您所需要的。

交叉验证

你要做的就是简单地把你的数据集分成k个不重叠的子集(折叠)，用k-1次折叠来训练一个模型，并用你遗漏的折叠来预测它的性能。对每一种可能的折叠组合都要这样做(首先保留第1次折叠，然后是第2次，……，然后是k，用剩下的折叠进行训练)。完成后，估计所有折叠的平均性能(也可能是性能的方差/标准偏差)。

如何选择参数k取决于你拥有的时间。k的通常值是3、5、10甚至N，其中N是数据的大小(这与省略一个交叉验证相同)。我更喜欢5到10个。

模型选择

假设你有5个方法(ANN, SVM, KNN等)和每个方法的10个参数组合(取决于方法)。您只需对每种方法和参数组合(5 * 10 = 50)进行交叉验证，并选择最佳模型、方法和参数。然后你用最好的方法和参数重新训练所有的数据，你就有了最终的模型。

我还有话要说。例如，如果您为每个方法和参数组合使用了许多方法和参数，则很可能会过度拟合。在这种情况下，必须使用嵌套交叉验证。

嵌套交叉验证

在嵌套交叉验证中，对模型选择算法执行交叉验证。

Again, you first split your data into k folds. After each step, you choose k-1 as your training data and the remaining one as your test data. Then you run model selection (the procedure I explained above) for each possible combination of those k folds. After finishing this, you will have k models, one for each combination of folds. After that, you test each model with the remaining test data and choose the best one. Again, after having the last model you train a new one with the same method and parameters on all the data you have. That's your final model.

当然，这些方法还有很多变体，还有其他我没有提到的东西。如果你需要更多关于这些的信息，找一些关于这些主题的出版物。

我的看法是，你总是首先运行基本的分类器来了解你的数据。通常情况下(至少在我的经验中)，他们已经足够好了。

所以，如果你有监督数据，训练朴素贝叶斯分类器。如果有无监督数据，可以尝试k-均值聚类。

另一个资源是斯坦福机器学习系列视频中的一个讲座视频，我之前看过。在视频4或5中，我认为，讲师讨论了训练分类器时的一些普遍接受的惯例，优点/权衡等。

算法的选择取决于场景和数据集的类型和大小。 还有很多其他因素。

这是一个简单的基础机器学习备忘单。

Sam Roweis曾经说过，你应该先尝试朴素贝叶斯，逻辑回归，k近邻和Fisher线性判别。