我在一个计算资源共享的环境中工作，也就是说，我们有几台服务器机器，每台机器都配备了几个Nvidia Titan X gpu。
For small to moderate size models, the 12 GB of the Titan X is usually enough for 2–3 people to run training concurrently on the same GPU. If the models are small enough that a single model does not take full advantage of all the computational units of the GPU, this can actually result in a speedup compared with running one training process after the other. Even in cases where the concurrent access to the GPU does slow down the individual training time, it is still nice to have the flexibility of having multiple users simultaneously train on the GPU.
TensorFlow的问题在于，默认情况下，它在启动时分配了全部可用的GPU内存。即使是一个小型的两层神经网络，我看到所有12 GB的GPU内存都用完了。
有没有一种方法让TensorFlow只分配，比如说，4 GB的GPU内存，如果我们知道这对一个给定的模型来说已经足够了?
上面所有的答案都假设使用sess.run()调用来执行，这在TensorFlow的最新版本中成为异常而不是规则。
当使用tf。估计器框架(TensorFlow 1.4及以上)将分数传递给隐式创建的MonitoredTrainingSession的方式是，
opts = tf.GPUOptions(per_process_gpu_memory_fraction=0.333)
conf = tf.ConfigProto(gpu_options=opts)
trainingConfig = tf.estimator.RunConfig(session_config=conf, ...)
tf.estimator.Estimator(model_fn=...,
config=trainingConfig)
类似地，在Eager模式下(TensorFlow 1.5及以上)，
opts = tf.GPUOptions(per_process_gpu_memory_fraction=0.333)
conf = tf.ConfigProto(gpu_options=opts)
tfe.enable_eager_execution(config=conf)
编辑:11-04-2018
例如，如果要使用tf.contrib.gan。Train，那么你可以使用类似bellow的东西:
tf.contrib.gan.gan_train(........, config=conf)
以上答案都是指在TensorFlow 1中设置一定的内存。或者在TensorFlow 2.X中允许内存增长。
方法tf.config.experimental。Set_memory_growth确实适用于在分配/预处理期间允许动态增长。然而，人们可能喜欢从一开始就分配一个特定的GPU内存上限。
分配特定GPU内存的逻辑也是为了防止在训练期间使用OOM内存。例如，如果一个人在打开占用视频内存的Chrome选项卡/任何其他视频消耗过程时进行训练，tf.config.experimental. js将被调用。set_memory_growth(gpu, True)可能导致抛出OOM错误，因此在某些情况下需要从一开始就分配更多的内存。
TensorFlow 2中为每个GPU分配内存的推荐和正确方法。X是通过以下方式完成的:
gpus = tf.config.experimental.list_physical_devices('GPU')
if gpus:
# Restrict TensorFlow to only allocate 1GB of memory on the first GPU
try:
tf.config.experimental.set_virtual_device_configuration(
gpus[0],
[tf.config.experimental.VirtualDeviceConfiguration(memory_limit=1024)]
对于TensorFlow 2.0和2.1 (docs):
import tensorflow as tf
tf.config.gpu.set_per_process_memory_growth(True)
对于TensorFlow 2.2+ (docs):
import tensorflow as tf
gpus = tf.config.experimental.list_physical_devices('GPU')
for gpu in gpus:
tf.config.experimental.set_memory_growth(gpu, True)
文档还列出了更多的方法:
设置环境变量TF_FORCE_GPU_ALLOW_GROWTH为true。
使用tf.config.experimental。set_virtual_device_configuration设置虚拟GPU设备的硬限制。
