使用下面的代码

import torch
torch.cuda.is_available()

将只显示GPU是否存在并被pytorch检测到。

但是在“任务管理器->性能”中，GPU利用率会非常低。

这意味着你实际上是在使用CPU运行。

解决上述问题的检查和修改:

打开硬件加速GPU设置，重新启动。 在通知区打开NVIDIA控制面板—> Desktop—>显示GPU [注意:如果您新安装了windows，那么您还必须在NVIDIA控制面板中同意这些条款和条件]

这应该有用!

由于这里没有提出，我添加了一个使用torch.device的方法，因为这非常方便，在正确的设备上初始化张量时也是如此。

# setting device on GPU if available, else CPU
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
print('Using device:', device)
print()

#Additional Info when using cuda
if device.type == 'cuda':
    print(torch.cuda.get_device_name(0))
    print('Memory Usage:')
    print('Allocated:', round(torch.cuda.memory_allocated(0)/1024**3,1), 'GB')
    print('Cached:   ', round(torch.cuda.memory_reserved(0)/1024**3,1), 'GB')

编辑:torch.cuda。Memory_cached已重命名为torch.cuda.memory_reserved。因此，对于旧版本使用memory_cached。

输出:

Using device: cuda

Tesla K80
Memory Usage:
Allocated: 0.3 GB
Cached:    0.6 GB

如上所述，使用设备可以:

将张量移动到相应的设备: torch.rand(10),(设备) 直接在设备上创建一个张量: 火炬。兰特(10,设备=设备)

这使得CPU和GPU之间的切换舒适，而不改变实际的代码。

编辑:

由于有一些问题和困惑的缓存和分配内存，我添加了一些关于它的额外信息:

max_memory_cached(device=None)返回缓存分配器管理的最大GPU内存，单位为字节 鉴于设备。 memory_allocated(device=None)返回给定设备的当前GPU内存使用情况(以字节为单位)。

你可以直接移交一个设备，就像上面提到的那样，或者你可以让它为None，它将使用current_device()。

附加注意:旧的图形卡与Cuda计算能力3.0或更低可能是可见的，但不能被Pytorch使用!感谢hekimgil指出这一点!“发现了GPU0 GeForce GT 750M, cuda能力3.0。PyTorch不再支持这个GPU，因为它太老了。我们支持的cuda最低能力是3.5。”

在官方网站的入门页面，你可以像这样检查PyTorch的GPU是否可用:

import torch
torch.cuda.is_available()

参考:PyTorch | Get Started

这是可能的

torch.cuda.is_available()

返回True，但在运行时得到以下错误

>>> torch.rand(10).to(device)

MBT建议:

RuntimeError: CUDA error: no kernel image is available for execution on the device

这个链接解释了

．.． torch.cuda。Is_available只检查你的驱动程序是否与我们在二进制文件中使用的cuda版本兼容。这意味着CUDA 10.1与您的驱动程序是兼容的。但是当你用CUDA计算时，它找不到你的拱门的代码。

在你开始运行训练循环后，如果你想在终端上手动观察你的程序是否在利用GPU资源，以及利用到什么程度，那么你可以简单地使用watch，如下所示:

$ watch -n 2 nvidia-smi

这将持续更新使用统计每2秒，直到你按ctrl+c

如果你需要更多的GPU统计数据的控制，你可以使用更复杂的nvidia-smi版本——query-gpu=....下面是一个简单的例子:

$ watch -n 3 nvidia-smi --query-gpu=index,gpu_name,memory.total,memory.used,memory.free,temperature.gpu,pstate,utilization.gpu,utilization.memory --format=csv

这将输出统计信息如下:

注意:在——query-gpu=....中，以逗号分隔的查询名之间不能有空格否则，这些值将被忽略，不返回统计信息。

此外，你可以通过以下方法检查PyTorch安装是否正确检测到CUDA安装:

In [13]: import  torch

In [14]: torch.cuda.is_available()
Out[14]: True

True状态意味着PyTorch配置正确，并且正在使用GPU，尽管你必须在代码中使用必要的语句移动/放置张量。

如果你想在Python代码中执行此操作，请查看以下模块:

https://github.com/jonsafari/nvidia-ml-py或在pypi中:https://pypi.python.org/pypi/nvidia-ml-py/

简单地从命令提示符或Linux环境中运行以下命令。

python -c 'import torch; print(torch.cuda.is_available())'

上面应该打印为True

python -c 'import torch; print(torch.rand(2,3).cuda())'

它应该打印以下内容:

tensor([[0.7997, 0.6170, 0.7042], [0.4174, 0.1494, 0.0516]], device='cuda:0')