我试图监控一个使用CUDA和MPI的进程，有没有办法我可以做到这一点，像命令“顶部”，但也监控GPU ?
当前回答
我在一台windows机器上用下面的代码创建了一个批处理文件来监视每一秒。这对我很管用。
:loop
cls
"C:\Program Files\NVIDIA Corporation\NVSMI\nvidia-smi"
timeout /T 1
goto loop
如果你只想运行一次命令，NVIDIA -smi exe通常位于“C:\Program Files\NVIDIA Corporation”。
其他回答
使用参数"——query-compute-apps="
nvidia-smi --query-compute-apps=pid,process_name,used_memory --format=csv
如需进一步帮助，请关注
nvidia-smi --help-query-compute-app
只需使用watch nvidia-smi，它将默认以2s间隔输出消息。
例如，如下图:
你也可以使用watch -n 5 nvidia-smi (-n 5 by 5s interval)。
我发现gpustat非常有用。它可以与pip install gpustat一起安装，并按进程或用户打印使用情况。
要获得使用资源的实时洞察，请执行:
Nvidia-smi -l
这将在每一秒循环并调用视图。
如果你不想在控制台历史记录中保留循环调用的过去痕迹，你也可以这样做:
观看-n0.1 nvidia-smi
其中0.1是时间间隔，单位为秒。
我不知道有什么东西可以结合这些信息，但你可以使用nvidia-smi工具来获取原始数据，就像这样(感谢@jmsu关于-l的提示):
$ nvidia-smi -q -g 0 -d UTILIZATION -l
==============NVSMI LOG==============
Timestamp : Tue Nov 22 11:50:05 2011
Driver Version : 275.19
Attached GPUs : 2
GPU 0:1:0
Utilization
Gpu : 0 %
Memory : 0 %
