技术栈
nvitop
奔跑中的小象
20 天前
grafana
·
prometheus
·
vllm
·
nvitop
基于 nvitop+Prometheus+Grafana 的物理资源与 VLLM 引擎服务监控方案
在人工智能与高性能计算场景中，对物理资源（尤其是 GPU）的实时监控以及对 VLLM 引擎服务的性能追踪至关重要。本方案通过整合 nvitop、Prometheus 和 Grafana 三大组件，构建一套完整的监控体系，实现对 GPU 状态的实时洞察、VLLM 服务性能指标的可视化展示，以及异常状态的及时告警，为系统稳定性优化和资源合理分配提供数据支撑。
ViatorSun
9 个月前
windows
·
python
·
ubuntu
·
llm
·
nvidia
·
vlm
·
nvitop
「bug」nvitop ERROR: Failed to initialize curses
nvitop 作为一个优秀个 Nvidia显卡查询库，简单易用且显示信息十分丰富，相比 Nvidia-smi 更方便，简直是每个 开发人员必备的库，安装也十分方便，直接采用 pip install nvitop 即可，调用的时候也是直接在 Terminal 中输入 nvitop 即可，按 Q 键即可退出 nvitop