在Windows下编译出llama_cpp_python的DLL后,在虚拟环境中使用方法

定位编译生成的文件

在VS2022编译完成后,在构建目录(如build/Release或build/Debug)中寻找以下关键文件:

ggml.dll、ggml_base.dll、ggml_cpu.dll、ggml_cuda.dll、llama.dll(核心动态链接库)

llama_cpp.py(Python接口文件)

其他依赖的DLL(如ggml.dll、CUDA相关DLL等)

部署编译文件

在虚拟环境中创建包目录:

cmd

bash 复制代码
mkdir myenv\Lib\site-packages\llama_cpp

复制所有编译生成的文件:

将上述编译出来的动态库复制到myenv\Lib\site-packages\llama_cpp\lib目录下

将llama_cpp_python\llama_cpp*.py复制到myenv\Lib\site-packages\llama_cpp目录下

bash 复制代码
copy path\to\build\Release\*.pyd myenv\Lib\site-packages\llama_cpp
copy path\to\llama_cpp_python\llama_cpp\*.py myenv\Lib\site-packages\llama_cpp

复制CUDA DLL(如需要,我这测试是不需要的):

cmd

copy "C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.2\bin\cudart64_*.dll" myenv\Lib\site-packages\llama_cpp

相关推荐
程序员三藏13 分钟前
Selenium+python自动化测试:解决无法启动IE浏览器及报错问题
自动化测试·软件测试·python·selenium·测试工具·职场和发展·测试用例
瓦尔登湖50828 分钟前
DAY 40 训练和测试的规范写法
python
站大爷IP1 小时前
Python中None与NoneType的真相:从单例对象到类型系统的深度解析
python
秋难降1 小时前
LRU缓存算法(最近最少使用算法)——工业界缓存淘汰策略的 “默认选择”
数据结构·python·算法
站大爷IP1 小时前
Python新手踩坑实录:这些错误你可能正在犯
python
我星期八休息1 小时前
大模型 + 垂直场景:搜索/推荐/营销/客服领域开发新范式与技术实践
大数据·人工智能·python
深盾安全1 小时前
uv,下一代Python包管理工具
python
山烛2 小时前
OpenCV 图像处理基础操作指南(二)
人工智能·python·opencv·计算机视觉
跟橙姐学代码2 小时前
学Python,先把这“三板斧”练到炉火纯青!(零基础也能看懂)
前端·python
让心淡泊1443 小时前
DAY 50 预训练模型+CBAM模块
python