技术栈
gpu内存清理
一颗小树x
3 小时前
jetson
·
vllm
·
vlm
·
gpu内存清理
vLLM大模型推理:Jetson AGX Thor 的 GPU 共享内存清理实战
适用设备:NVIDIA Jetson AGX Thor(T5000)实测通过,思路同样适用于 AGX Orin 等采用统一内存架构的 Jetson 设备。
我是有底线的