许多神经网络训练算法都涉及到将整个数据集多次呈现给神经网络。通常，整个数据集的单一表示被称为“epoch”。相比之下，一些算法一次只向神经网络提供一个案例的数据。

“迭代”是一个更一般的术语，但既然你和“epoch”一起问了这个词，我假设你的来源是指一个单一案例对神经网络的呈现。

通常，你会把你的测试集分成小批，让网络从中学习，并让训练在你的层数中一步一步地进行，一直应用梯度下降。所有这些小步骤都可以称为迭代。

一个epoch对应于整个训练集通过整个网络一次。限制这种情况是很有用的，例如对抗过拟合。

Epoch和iteration描述的是不同的东西。

时代

epoch描述了算法看到整个数据集的次数。因此，每当算法看到数据集中的所有样本时，就完成了一个epoch。

迭代

迭代描述了一批数据通过算法的次数。在神经网络的例子中，这意味着向前传递和向后传递。因此，每当你通过神经网络传递一批数据时，你就完成了一次迭代。

例子

举个例子可能会更清楚。

假设您有一个包含10个示例(或样本)的数据集。批处理大小为2，并指定算法运行3个epoch。

因此，在每个epoch中，您有5个批次(10/2 = 5)。每个批次都通过算法，因此每个epoch有5个迭代。 因为您已经指定了3个epoch，所以总共有15个迭代(5*3 = 15)用于训练。

epoch是用于训练的样本子集的迭代，例如，神经网络中的梯度下降算法。一个很好的参考:http://neuralnetworksanddeeplearning.com/chap1.html

请注意，该页面有一个使用epoch的梯度下降算法的代码

def SGD(self, training_data, epochs, mini_batch_size, eta,
        test_data=None):
    """Train the neural network using mini-batch stochastic
    gradient descent.  The "training_data" is a list of tuples
    "(x, y)" representing the training inputs and the desired
    outputs.  The other non-optional parameters are
    self-explanatory.  If "test_data" is provided then the
    network will be evaluated against the test data after each
    epoch, and partial progress printed out.  This is useful for
    tracking progress, but slows things down substantially."""
    if test_data: n_test = len(test_data)
    n = len(training_data)
    for j in xrange(epochs):
        random.shuffle(training_data)
        mini_batches = [
            training_data[k:k+mini_batch_size]
            for k in xrange(0, n, mini_batch_size)]
        for mini_batch in mini_batches:
            self.update_mini_batch(mini_batch, eta)
        if test_data:
            print "Epoch {0}: {1} / {2}".format(
                j, self.evaluate(test_data), n_test)
        else:
            print "Epoch {0} complete".format(j)

看看代码。对于每个历元，我们随机生成梯度下降算法输入的子集。为什么epoch是有效的，也解释了这一页。请看一看。

我认为迭代相当于批SGD中的单批正向+反向。Epoch将遍历整个数据集一次(正如其他人提到的那样)。

时代 对整个数据集进行完整的训练，使得每个 例子已经见过一次了。因此，一个epoch表示N/batch 大小训练迭代，其中N是的总数 的例子。 迭代 在训练过程中对模型权重的一次更新。 迭代包括计算参数的梯度 对于单批数据的损失。

奖金:

批处理 在一次迭代中使用的示例集(即一个梯度) 更新)的模型训练。 请参见批大小。

来源:https://developers.google.com/machine-learning/glossary/