V100 显卡编译 llama.cpp（详细教程，适用于其他显卡）

V100 显卡编译 llama.cpp

参考教材：https://blog.csdn.net/weixin_27918373/article/details/158796372

确认自己的版本

遇到的错误：

cc: fatal error: cannot execute 'cc1plus': execvp:

解决方法：

find / -name cc1plus 2>/dev/null

发现文件在：

/usr/lib/gcc/x86_64-linux -gnu/11/cc1plus

将位置加入 PATH：

export PATH=$PATH:/usr/lib/gcc/x86_64-linux-gnu/11/

https://blog.csdn.net/sinat_40471574/article/details/146016380

Docker GPU插件（NVIDIA Container Toolkit）安装

https://blog.csdn.net/weixin_50233496/article/details/156447496

https://cloud.tencent.com/developer/article/2415295

使用教程

llama.cpp

./llama-server --model /home/gy/LLM/models/Qwen3.5-0.8B-gguf/Qwen3.5-0.8B-IQ4_NL.gguf --host 0.0.0.0 --port 8080

网页的运行示例