[bug] vllm 0.6.1 RuntimeError: operator torchvision::nms does not exist

[bug] vllm 0.6.1 RuntimeError: operator torchvision::nms does not exist

环境

复制代码
python 3.10
torch                             2.4.0+cu118
torchvision                       0.19.0+cu118
vllm                              0.6.1.post2+cu118

问题详情

复制代码
if torch._C._dispatch_has_kernel_for_dispatch_key(self.qualname, "Meta"):
RuntimeError: operator torchvision::nms does not exist

在搭建vllm 0.6.1 环境后,运行vllm --help 命令弹出该错误。

原因是torchvision导致的错误。

解决方法

首先通过pip list 查询 torchvision 的版本号

然后在torchvision download网址中找到对应安装包,下载安装包进行重新离线安装。

例如我的版本是0.19.0,平台是linux,cuda驱动是11.8

python 复制代码
# cpu 对应安装包 
torchvision-0.19.0+cpu-cp310-cp310-linux_x86_64.whl

# gpu 对应安装包 
torchvision-0.19.0+cu118-cp310-cp310-linux_x86_64.whl

离线安装 pip install xxx.whl

参考

RuntimeError: operator torchvision::nms does not exist with torch 2.2.1+cpu

相关推荐
qq_411262421 天前
主要 bug/问题 以及 修改建议:
前端·人工智能·bug·四博智联·doit
大气层煮月亮2 天前
Oracle EBS ERP接口开发 — 修复bug基本流程
bug
技术不支持2 天前
Qt Creator 11.0.3 语法高亮bug问题
java·服务器·数据库·qt·bug
hunteritself2 天前
DeepSeek 论文夺冠,智谱开源 GLM-4.5,OpenAI 学习模式上线!| AI Weekly 7.28-8.3
人工智能·学习·chatgpt·开源·bug·powerpoint
自学也学好编程5 天前
【BUG】nvm无法安装低版本Node.js:The system cannot find the file specified解决方案
node.js·bug
WBingJ6 天前
记录一次薛定谔bug
python·opencv·bug
普宁彭于晏7 天前
uni-app switch(开关选择器) BUG
uni-app·bug
!chen9 天前
Oracle 19.20未知BUG导致oraagent进程内存泄漏
数据库·oracle·bug
SAP龙哥12 天前
SAP在未启用负库存的情况下,库存却出现了负数-补充S4 1709 BUG
运维·bug
lxmyzzs12 天前
【已解决】YOLO11模型转wts时报错:PytorchStreamReader failed reading zip archive
人工智能·python·深度学习·神经网络·目标检测·计算机视觉·bug