ChatGLM3-6B独立部署提供HTTP服务failed to open nvrtc-builtins64_121.dll

背景

我在本地windoes部署ChatGLM3-bB,且希望部署后能提供HTTP server的能力。

模型部署且启动是成功了,但是在访问生成接口**/v1/chat/completions**时报错failed to open nvrtc-builtins64_121.dll。

问题详细描述

找不到nvrtc-builtins64_121.dll

RuntimeError: nvrtc: error: failed to open nvrtc-builtins64_121.dll.

Make sure that nvrtc-builtins64_121.dll is installed correctly.

bash 复制代码
  File "D:\ProgramData\Miniconda3\envs\chatglm\Lib\site-packages\torch\nn\modules\module.py", line 1511, in _wrapped_call_impl
    return self._call_impl(*args, **kwargs)
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "D:\ProgramData\Miniconda3\envs\chatglm\Lib\site-packages\torch\nn\modules\module.py", line 1520, in _call_impl
    return forward_call(*args, **kwargs)
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "C:\Users\Administrator\.cache\huggingface\modules\transformers_modules\chatglm3-6b\modeling_chatglm.py", line 408, in forward
    query_layer = apply_rotary_pos_emb(query_layer, rotary_pos_emb)
                  ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
RuntimeError: The following operation failed in the TorchScript interpreter.
Traceback of TorchScript (most recent call last):
RuntimeError: nvrtc: error: failed to open nvrtc-builtins64_121.dll.
  Make sure that nvrtc-builtins64_121.dll is installed correctly.

github上也有人报了这个问题

解决方案

原因:pytorch和cuda版本不匹配导致的

pytorch安装时,对应的CUDA12.1

但我本地之前安装的是CUDA12.4

因此找不到12.1版本的nvrtc-builtins64_121

方案:安装多版本CUDA,再安装一个CUDA12.1

相关推荐
泯泷44 分钟前
别再傻傻地喂文件了,大厂都在偷偷给AI建这种“专属图书馆”
人工智能
oak隔壁找我1 小时前
一款运行在 DSH(DeepSeek Harness)中的类 Postman HTTP 接口调试插件
人工智能·程序员
高洁011 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
Csvn2 小时前
如果明天供应商涨价 3 倍?三层解耦,换模型只改一行配置(C05)
人工智能·aigc·agent
在所不辞兄3 小时前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习
锋行天下3 小时前
langgraph 全栈项目(三)
前端·人工智能·后端
黄啊码4 小时前
【黄啊码】最近面了十几个想转 FDE 的程序员,一个都没招
人工智能
锋行天下4 小时前
langgraph 全栈项目(二)
前端·人工智能·后端
大模型真好玩4 小时前
用 Seedance 2.5 Flash 实现1分钟AI短剧,满足孩子的超级英雄对战梦
人工智能·aigc·deepseek
FengY_HYY5 小时前
从人类组织到人类&大模型组织,我的位置在哪里?
人工智能·程序员·llm