在Windows下编译出llama_cpp_python的DLL后,在虚拟环境中使用方法

定位编译生成的文件

在VS2022编译完成后,在构建目录(如build/Release或build/Debug)中寻找以下关键文件:

ggml.dll、ggml_base.dll、ggml_cpu.dll、ggml_cuda.dll、llama.dll(核心动态链接库)

llama_cpp.py(Python接口文件)

其他依赖的DLL(如ggml.dll、CUDA相关DLL等)

部署编译文件

在虚拟环境中创建包目录:

cmd

bash 复制代码
mkdir myenv\Lib\site-packages\llama_cpp

复制所有编译生成的文件:

将上述编译出来的动态库复制到myenv\Lib\site-packages\llama_cpp\lib目录下

将llama_cpp_python\llama_cpp*.py复制到myenv\Lib\site-packages\llama_cpp目录下

bash 复制代码
copy path\to\build\Release\*.pyd myenv\Lib\site-packages\llama_cpp
copy path\to\llama_cpp_python\llama_cpp\*.py myenv\Lib\site-packages\llama_cpp

复制CUDA DLL(如需要,我这测试是不需要的):

cmd

copy "C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.2\bin\cudart64_*.dll" myenv\Lib\site-packages\llama_cpp

相关推荐
Jackilina_Stone1 小时前
【论文|复现】YOLOFuse:面向多模态目标检测的双流融合框架
人工智能·python·目标检测·计算机视觉·融合
双叶8362 小时前
(Python)文件储存的认识,文件路径(文件储存基础教程)(Windows系统文件路径)(基础教程)
开发语言·windows·python
枫昕柚2 小时前
python
开发语言·python
木头左2 小时前
自动驾驶领域中的Python机器学习
python·机器学习·自动驾驶
Dxy12393102162 小时前
Python Requests-HTML库详解:从入门到实战
开发语言·python·html
seasonsyy2 小时前
2.安装CUDA详细步骤(含安装截图)
python·深度学习·环境配置·cuda
写点什么啦2 小时前
一键修复ipynb,Jupyter Notebook损坏文件
ide·python·jupyter
fishwheel2 小时前
Android:Reverse 实战 part 2 番外 IDA python
android·python·安全
测试19983 小时前
cmake应用:集成gtest进行单元测试
自动化测试·软件测试·python·测试工具·职场和发展·单元测试·测试用例
淦暴尼3 小时前
银行客户流失预测分析
python·深度学习·算法