我试图监控一个使用CUDA和MPI的进程,有没有办法我可以做到这一点,像命令“顶部”,但也监控GPU ?
当前回答
我发现gpustat非常有用。它可以与pip install gpustat一起安装,并按进程或用户打印使用情况。
其他回答
在Linux Mint和Ubuntu中,你可以尝试"nvidia-smi——loop=1"
我发现gpustat非常有用。它可以与pip install gpustat一起安装,并按进程或用户打印使用情况。
只需使用watch nvidia-smi,它将默认以2s间隔输出消息。
例如,如下图:
你也可以使用watch -n 5 nvidia-smi (-n 5 by 5s interval)。
要获得使用资源的实时洞察,请执行:
Nvidia-smi -l
这将在每一秒循环并调用视图。
如果你不想在控制台历史记录中保留循环调用的过去痕迹,你也可以这样做:
观看-n0.1 nvidia-smi
其中0.1是时间间隔,单位为秒。
从这里下载并安装最新的稳定CUDA驱动程序(4.2)。在linux上,nVidia-smi 295.41给你你想要的。使用nvidia-smi:
[root@localhost release]# nvidia-smi
Wed Sep 26 23:16:16 2012
+------------------------------------------------------+
| NVIDIA-SMI 3.295.41 Driver Version: 295.41 |
|-------------------------------+----------------------+----------------------+
| Nb. Name | Bus Id Disp. | Volatile ECC SB / DB |
| Fan Temp Power Usage /Cap | Memory Usage | GPU Util. Compute M. |
|===============================+======================+======================|
| 0. Tesla C2050 | 0000:05:00.0 On | 0 0 |
| 30% 62 C P0 N/A / N/A | 3% 70MB / 2687MB | 44% Default |
|-------------------------------+----------------------+----------------------|
| Compute processes: GPU Memory |
| GPU PID Process name Usage |
|=============================================================================|
| 0. 7336 ./align 61MB |
+-----------------------------------------------------------------------------+
编辑:在最新的NVIDIA驱动程序中,此支持仅限于特斯拉卡。