在GPU上创建一个张量，如下所示:

$ python
>>> import torch
>>> print(torch.rand(3,3).cuda()) 

不要退出，打开另一个终端，检查python进程是否使用该GPU:

$ nvidia-smi

这里几乎所有的答案都引用torch.cuda.is_available()。然而，这只是硬币的一部分。它告诉你GPU(实际上是CUDA)是否可用，而不是它是否实际被使用。在一个典型的设置中，你会像这样设置你的设备:

device = torch.device("cuda") if torch.cuda.is_available() else torch.device("cpu")

但在更大的环境中(例如研究)，通常也会给用户更多的选择，因此根据输入，他们可以禁用CUDA，指定CUDA id，等等。在这种情况下，是否使用GPU不仅仅取决于GPU是否可用。在设备被设置为torch设备之后，您可以获取它的type属性来验证它是否是CUDA。

if device.type == 'cuda':
    # do something

在你开始运行训练循环后，如果你想在终端上手动观察你的程序是否在利用GPU资源，以及利用到什么程度，那么你可以简单地使用watch，如下所示:

$ watch -n 2 nvidia-smi

这将持续更新使用统计每2秒，直到你按ctrl+c

如果你需要更多的GPU统计数据的控制，你可以使用更复杂的nvidia-smi版本——query-gpu=....下面是一个简单的例子:

$ watch -n 3 nvidia-smi --query-gpu=index,gpu_name,memory.total,memory.used,memory.free,temperature.gpu,pstate,utilization.gpu,utilization.memory --format=csv

这将输出统计信息如下:

注意:在——query-gpu=....中，以逗号分隔的查询名之间不能有空格否则，这些值将被忽略，不返回统计信息。

此外，你可以通过以下方法检查PyTorch安装是否正确检测到CUDA安装:

In [13]: import  torch

In [14]: torch.cuda.is_available()
Out[14]: True

True状态意味着PyTorch配置正确，并且正在使用GPU，尽管你必须在代码中使用必要的语句移动/放置张量。

如果你想在Python代码中执行此操作，请查看以下模块:

https://github.com/jonsafari/nvidia-ml-py或在pypi中:https://pypi.python.org/pypi/nvidia-ml-py/

从实际的角度来看，有一个小题外话:

import torch
dev = torch.device("cuda") if torch.cuda.is_available() else torch.device("cpu")

这个开发人员现在知道是cuda还是cpu。

在使用cuda时，处理模型和张量的方式是不同的。一开始有点奇怪。

import torch
import torch.nn as nn
dev = torch.device("cuda") if torch.cuda.is_available() else torch.device("cpu")
t1 = torch.randn(1,2)
t2 = torch.randn(1,2).to(dev)
print(t1)  # tensor([[-0.2678,  1.9252]])
print(t2)  # tensor([[ 0.5117, -3.6247]], device='cuda:0')
t1.to(dev)
print(t1)  # tensor([[-0.2678,  1.9252]])
print(t1.is_cuda) # False
t1 = t1.to(dev)
print(t1)  # tensor([[-0.2678,  1.9252]], device='cuda:0')
print(t1.is_cuda) # True

class M(nn.Module):
    def __init__(self):        
        super().__init__()        
        self.l1 = nn.Linear(1,2)

    def forward(self, x):                      
        x = self.l1(x)
        return x
model = M()   # not on cuda
model.to(dev) # is on cuda (all parameters)
print(next(model.parameters()).is_cuda) # True

这一切都很棘手，一旦理解它，就可以帮助您快速处理较少的调试。

这些函数应该有助于:

>>> import torch

>>> torch.cuda.is_available()
True

>>> torch.cuda.device_count()
1

>>> torch.cuda.current_device()
0

>>> torch.cuda.device(0)
<torch.cuda.device at 0x7efce0b03be0>

>>> torch.cuda.get_device_name(0)
'GeForce GTX 950M'

这告诉我们:

CUDA是可用的，可以在一台设备上使用。 Device 0指GPU GeForce GTX 950M，目前被PyTorch选中。

由于这里没有提出，我添加了一个使用torch.device的方法，因为这非常方便，在正确的设备上初始化张量时也是如此。

# setting device on GPU if available, else CPU
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
print('Using device:', device)
print()

#Additional Info when using cuda
if device.type == 'cuda':
    print(torch.cuda.get_device_name(0))
    print('Memory Usage:')
    print('Allocated:', round(torch.cuda.memory_allocated(0)/1024**3,1), 'GB')
    print('Cached:   ', round(torch.cuda.memory_reserved(0)/1024**3,1), 'GB')

编辑:torch.cuda。Memory_cached已重命名为torch.cuda.memory_reserved。因此，对于旧版本使用memory_cached。

输出:

Using device: cuda

Tesla K80
Memory Usage:
Allocated: 0.3 GB
Cached:    0.6 GB

如上所述，使用设备可以:

将张量移动到相应的设备: torch.rand(10),(设备) 直接在设备上创建一个张量: 火炬。兰特(10,设备=设备)

这使得CPU和GPU之间的切换舒适，而不改变实际的代码。

编辑:

由于有一些问题和困惑的缓存和分配内存，我添加了一些关于它的额外信息:

max_memory_cached(device=None)返回缓存分配器管理的最大GPU内存，单位为字节 鉴于设备。 memory_allocated(device=None)返回给定设备的当前GPU内存使用情况(以字节为单位)。

你可以直接移交一个设备，就像上面提到的那样，或者你可以让它为None，它将使用current_device()。

附加注意:旧的图形卡与Cuda计算能力3.0或更低可能是可见的，但不能被Pytorch使用!感谢hekimgil指出这一点!“发现了GPU0 GeForce GT 750M, cuda能力3.0。PyTorch不再支持这个GPU，因为它太老了。我们支持的cuda最低能力是3.5。”