我试图监控一个使用CUDA和MPI的进程，有没有办法我可以做到这一点，像命令“顶部”，但也监控GPU ?
当前回答
最近，我写了一个名为nvitop的监控工具，交互式NVIDIA-GPU进程查看器。
它是用纯Python编写的，易于安装。
从PyPI安装:
pip3 install --upgrade nvitop
从GitHub安装最新版本(推荐):
pip3 install git+https://github.com/XuehaiPan/nvitop.git#egg=nvitop
作为资源监视器运行:
nvitop -m
nvitop将像nvidia-smi一样显示GPU状态，但有额外的花式条和历史图。
对于进程，它将使用psutil收集进程信息，并显示USER， %CPU， %MEM, TIME和COMMAND字段，这比nvidia-smi详细得多。此外，它在监控模式下响应用户输入。您可以中断或终止gpu上的进程。
Nvitop提供了一个树视图屏幕和一个环境屏幕:
此外，nvitop还可以集成到其他应用程序中。例如，集成到PyTorch训练代码:
import os
from nvitop.core import host, CudaDevice, HostProcess, GpuProcess
from torch.utils.tensorboard import SummaryWriter
device = CudaDevice(0)
this_process = GpuProcess(os.getpid(), device)
writer = SummaryWriter()
for epoch in range(n_epochs):
# some training code here
# ...
this_process.update_gpu_status()
writer.add_scalars(
'monitoring',
{
'device/memory_used': float(device.memory_used()) / (1 << 20), # convert bytes to MiBs
'device/memory_percent': device.memory_percent(),
'device/memory_utilization': device.memory_utilization(),
'device/gpu_utilization': device.gpu_utilization(),
'host/cpu_percent': host.cpu_percent(),
'host/memory_percent': host.virtual_memory().percent,
'process/cpu_percent': this_process.cpu_percent(),
'process/memory_percent': this_process.memory_percent(),
'process/used_gpu_memory': float(this_process.gpu_memory()) / (1 << 20), # convert bytes to MiBs
'process/gpu_sm_utilization': this_process.gpu_sm_utilization(),
'process/gpu_memory_utilization': this_process.gpu_memory_utilization(),
},
global_step
)
详情见https://github.com/XuehaiPan/nvitop。
注意:nvitop已获得GPLv3 License和Apache-2.0 License的双重授权。请随意将其作为您自己项目的依赖项使用。详见版权声明。
其他回答
最近，我写了一个名为nvitop的监控工具，交互式NVIDIA-GPU进程查看器。
它是用纯Python编写的，易于安装。
从PyPI安装:
pip3 install --upgrade nvitop
从GitHub安装最新版本(推荐):
pip3 install git+https://github.com/XuehaiPan/nvitop.git#egg=nvitop
作为资源监视器运行:
nvitop -m
nvitop将像nvidia-smi一样显示GPU状态，但有额外的花式条和历史图。
对于进程，它将使用psutil收集进程信息，并显示USER， %CPU， %MEM, TIME和COMMAND字段，这比nvidia-smi详细得多。此外，它在监控模式下响应用户输入。您可以中断或终止gpu上的进程。
Nvitop提供了一个树视图屏幕和一个环境屏幕:
此外，nvitop还可以集成到其他应用程序中。例如，集成到PyTorch训练代码:
import os
from nvitop.core import host, CudaDevice, HostProcess, GpuProcess
from torch.utils.tensorboard import SummaryWriter
device = CudaDevice(0)
this_process = GpuProcess(os.getpid(), device)
writer = SummaryWriter()
for epoch in range(n_epochs):
# some training code here
# ...
this_process.update_gpu_status()
writer.add_scalars(
'monitoring',
{
'device/memory_used': float(device.memory_used()) / (1 << 20), # convert bytes to MiBs
'device/memory_percent': device.memory_percent(),
'device/memory_utilization': device.memory_utilization(),
'device/gpu_utilization': device.gpu_utilization(),
'host/cpu_percent': host.cpu_percent(),
'host/memory_percent': host.virtual_memory().percent,
'process/cpu_percent': this_process.cpu_percent(),
'process/memory_percent': this_process.memory_percent(),
'process/used_gpu_memory': float(this_process.gpu_memory()) / (1 << 20), # convert bytes to MiBs
'process/gpu_sm_utilization': this_process.gpu_sm_utilization(),
'process/gpu_memory_utilization': this_process.gpu_memory_utilization(),
},
global_step
)
详情见https://github.com/XuehaiPan/nvitop。
注意:nvitop已获得GPLv3 License和Apache-2.0 License的双重授权。请随意将其作为您自己项目的依赖项使用。详见版权声明。
我发现gpustat非常有用。它可以与pip install gpustat一起安装，并按进程或用户打印使用情况。
要获得使用资源的实时洞察，请执行:
Nvidia-smi -l
这将在每一秒循环并调用视图。
如果你不想在控制台历史记录中保留循环调用的过去痕迹，你也可以这样做:
观看-n0.1 nvidia-smi
其中0.1是时间间隔，单位为秒。
我在一台windows机器上用下面的代码创建了一个批处理文件来监视每一秒。这对我很管用。
:loop
cls
"C:\Program Files\NVIDIA Corporation\NVSMI\nvidia-smi"
timeout /T 1
goto loop
如果你只想运行一次命令，NVIDIA -smi exe通常位于“C:\Program Files\NVIDIA Corporation”。
使用参数"——query-compute-apps="
nvidia-smi --query-compute-apps=pid,process_name,used_memory --format=csv
如需进一步帮助，请关注
nvidia-smi --help-query-compute-app
