[bug] vllm 0.6.1 RuntimeError: operator torchvision::nms does not exist

[bug] vllm 0.6.1 RuntimeError: operator torchvision::nms does not exist

环境

复制代码
python 3.10
torch                             2.4.0+cu118
torchvision                       0.19.0+cu118
vllm                              0.6.1.post2+cu118

问题详情

复制代码
if torch._C._dispatch_has_kernel_for_dispatch_key(self.qualname, "Meta"):
RuntimeError: operator torchvision::nms does not exist

在搭建vllm 0.6.1 环境后,运行vllm --help 命令弹出该错误。

原因是torchvision导致的错误。

解决方法

首先通过pip list 查询 torchvision 的版本号

然后在torchvision download网址中找到对应安装包,下载安装包进行重新离线安装。

例如我的版本是0.19.0,平台是linux,cuda驱动是11.8

python 复制代码
# cpu 对应安装包 
torchvision-0.19.0+cpu-cp310-cp310-linux_x86_64.whl

# gpu 对应安装包 
torchvision-0.19.0+cu118-cp310-cp310-linux_x86_64.whl

离线安装 pip install xxx.whl

参考

RuntimeError: operator torchvision::nms does not exist with torch 2.2.1+cpu

相关推荐
tanxiaomi18 小时前
记一次雪花算法 ID 精度丢失的Bug:前端接收到的 Long 被“四舍五入”了?
bug
仰望星空的凡人18 小时前
【BUG排查】调试瑞萨RH850F1KMS1时候随机出现进入到unused_isr
bug·瑞萨·renesas
蓝蜂物联网1 天前
告别出差!蓝蜂物联网网关让PLC程序远程修改零延迟
物联网·自动化·bug
软测进阶3 天前
【第三章】软件测试缺陷管理:从判断到回归的全流程实践指南
测试工具·bug·源代码管理
lijiatu100863 天前
【ROS2】 忽略局域网多机通信导致数据接收的bug
bug·ros2
张较瘦_4 天前
[论文阅读] 软件工程 | GPS算法:用“路径摘要”当向导,软件模型检测从此告别“瞎找bug”
论文阅读·算法·bug
玩转数据库管理工具FOR DBLENS4 天前
精准测试的密码:解密等价类划分,让Bug无处可逃
数据库·单元测试·测试用例·bug·数据库开发
程序猿阿伟4 天前
《微服务架构下API网关流量控制Bug复盘:从熔断失效到全链路防护》
微服务·架构·bug
funfan05174 天前
奇怪的“bug”--数据库的“隐式转换”行为
数据库·bug
海鸥_5 天前
C++中不加{}导致的BUG
c++·bug