最初的问题是关于TensorFlow具体实现的。但是，这些答案一般适用于实现。这个一般答案也是TensorFlow的正确答案。
当在TensorFlow中使用批处理归一化和dropout(特别是使用contrib.layers)时，我需要担心排序吗?
It seems possible that if I use dropout followed immediately by batch normalization there might be trouble. For example, if the shift in the batch normalization trains to the larger scale numbers of the training outputs, but then that same shift is applied to the smaller (due to the compensation for having more outputs) scale numbers without dropout during testing, then that shift may be off. Does the TensorFlow batch normalization layer automatically compensate for this? Or does this not happen for some reason I'm missing?
此外，在同时使用这两者时，还有其他需要注意的缺陷吗?例如，假设我以正确的顺序使用它们(假设有正确的顺序)，在多个连续层上同时使用批处理规范化和dropout会有麻烦吗?我不认为这有什么问题，但我可能遗漏了一些东西。
非常感谢!
更新:
一项实验测试似乎表明，排序确实很重要。我用批处理规范和dropout反向运行了相同的网络两次。当dropout在批数范数之前时，验证损失呈上升趋势，而训练损失呈下降趋势。在另一种情况下它们都是向下的。但我的动作很慢，所以经过更多的训练，情况可能会发生变化，这只是一次测试。一个更明确和更明智的答案仍然是值得赞赏的。
正如评论中提到的，这里有一个关于图层顺序的惊人资源。我已经看过了评论，这是我在互联网上找到的最好的主题资源
我的观点是:
Dropout是指完全阻断来自某些神经元的信息，以确保神经元不会相互适应。
所以，批归一化必须在dropout之后进行否则你就是在通过归一化统计来传递信息。
如果你仔细想想，在典型的ML问题中，这就是为什么我们不计算整个数据的平均值和标准差，然后把它分成训练集、测试集和验证集。我们分割并计算训练集上的统计数据，并使用它们来规范化和集中验证和测试数据集
所以我建议方案1(这考虑了pseudomarvin对已接受答案的评论)
-> CONV/FC -> ReLu -> ReLu -> Dropout -> BatchNorm -> CONV/FC
与方案二相反
-> CONV/FC -> BatchNorm -> ReLu(或其他激活)-> Dropout -> CONV/FC ->在接受的答案
请注意，这意味着与方案1下的网络相比，方案2下的网络应该显示过拟合，但OP运行了一些测试，如上文所述，它们支持方案2
正如评论中提到的，这里有一个关于图层顺序的惊人资源。我已经看过了评论，这是我在互联网上找到的最好的主题资源
我的观点是:
Dropout是指完全阻断来自某些神经元的信息，以确保神经元不会相互适应。
所以，批归一化必须在dropout之后进行否则你就是在通过归一化统计来传递信息。
如果你仔细想想，在典型的ML问题中，这就是为什么我们不计算整个数据的平均值和标准差，然后把它分成训练集、测试集和验证集。我们分割并计算训练集上的统计数据，并使用它们来规范化和集中验证和测试数据集
所以我建议方案1(这考虑了pseudomarvin对已接受答案的评论)
-> CONV/FC -> ReLu -> ReLu -> Dropout -> BatchNorm -> CONV/FC
与方案二相反
-> CONV/FC -> BatchNorm -> ReLu(或其他激活)-> Dropout -> CONV/FC ->在接受的答案
请注意，这意味着与方案1下的网络相比，方案2下的网络应该显示过拟合，但OP运行了一些测试，如上文所述，它们支持方案2
