训练神经网络时的Epoch vs Iteration

训练多层感知器时，历元和迭代的区别是什么?

当前回答

时代对整个数据集进行完整的训练，使得每个例子已经见过一次了。因此，一个epoch表示N/batch 大小训练迭代，其中N是的总数的例子。迭代在训练过程中对模型权重的一次更新。迭代包括计算参数的梯度对于单批数据的损失。

奖金:

批处理在一次迭代中使用的示例集(即一个梯度) 更新)的模型训练。请参见批大小。

来源:https://developers.google.com/machine-learning/glossary/

2019-09-01 16:23:11

其他回答

根据谷歌的机器学习术语表，一个纪元被定义为

“对整个数据集进行完整的训练，以便每个示例都被看到一次。因此，一个epoch表示N/batch_size训练迭代，其中N是示例的总数。”

如果你正在训练10个epoch的模型，批大小为6，给定总共12个样本，这意味着:

该模型将能够在2次迭代(12 / 6 = 2)即单个epoch中看到整个数据集。总的来说，该模型将有2 X 10 = 20个迭代(每个epoch的迭代X无epoch) 每次迭代后，将对损失和模型参数进行重新评估!

2020-12-30 05:43:21

epoch是用于训练的样本子集的迭代，例如，神经网络中的梯度下降算法。一个很好的参考:http://neuralnetworksanddeeplearning.com/chap1.html

请注意，该页面有一个使用epoch的梯度下降算法的代码

def SGD(self, training_data, epochs, mini_batch_size, eta,
        test_data=None):
    """Train the neural network using mini-batch stochastic
    gradient descent.  The "training_data" is a list of tuples
    "(x, y)" representing the training inputs and the desired
    outputs.  The other non-optional parameters are
    self-explanatory.  If "test_data" is provided then the
    network will be evaluated against the test data after each
    epoch, and partial progress printed out.  This is useful for
    tracking progress, but slows things down substantially."""
    if test_data: n_test = len(test_data)
    n = len(training_data)
    for j in xrange(epochs):
        random.shuffle(training_data)
        mini_batches = [
            training_data[k:k+mini_batch_size]
            for k in xrange(0, n, mini_batch_size)]
        for mini_batch in mini_batches:
            self.update_mini_batch(mini_batch, eta)
        if test_data:
            print "Epoch {0}: {1} / {2}".format(
                j, self.evaluate(test_data), n_test)
        else:
            print "Epoch {0} complete".format(j)

看看代码。对于每个历元，我们随机生成梯度下降算法输入的子集。为什么epoch是有效的，也解释了这一页。请看一看。

2015-11-20 13:18:15

通常，你会把你的测试集分成小批，让网络从中学习，并让训练在你的层数中一步一步地进行，一直应用梯度下降。所有这些小步骤都可以称为迭代。

一个epoch对应于整个训练集通过整个网络一次。限制这种情况是很有用的，例如对抗过拟合。

2012-10-26 21:46:14

Epoch和iteration描述的是不同的东西。

时代

epoch描述了算法看到整个数据集的次数。因此，每当算法看到数据集中的所有样本时，就完成了一个epoch。

迭代

迭代描述了一批数据通过算法的次数。在神经网络的例子中，这意味着向前传递和向后传递。因此，每当你通过神经网络传递一批数据时，你就完成了一次迭代。

例子

举个例子可能会更清楚。