LLM大语言模型部署到本地(个人总结)

使用的是ollama

在跑ollama run deepseek-r1:latest时cpu100%,说明没有用到gpu

添加命令:

复制代码
set CUDA_VISIBLE_DEVICES=0

运行正常

但在跑70b的时候,cpu又百分比

后续问ai解释到

说白了就是GPU硬件不支持,如果要运行70b的


我重启了电脑 gpu直接

哈哈,于是我又运行了ollama run deepseek-r1:70b

可以了,然后不用了的话

所以说专用内存占用太多,nvidia-smi也看不到(前序进程未释放显存(显存泄漏)),直接重启,然后运行完不用的话要stop

哈哈哈,好好好好好

相关推荐
啾啾Fun6 分钟前
【AI Coding】0-工程化视角理解AI Coding与LLM应用的上下文演化
大数据·人工智能
hughnz12 分钟前
从页岩到硅谷:石油和天然气在第五次工业革命中的定位
人工智能
chatexcel12 分钟前
ChatExcel MAX 教程:AI Excel 数据清洗、异常核查与分析报告生成
人工智能·excel
装不满的克莱因瓶16 分钟前
PyTorch 与它的自动微分工具:Autograd
人工智能·pytorch·python·深度学习·神经网络·机器学习·ai
unique18 分钟前
AI Agent记忆系统调研报告:MAGMA 与 AgentMemory 对比分析
人工智能
代码有点萌20 分钟前
新手入门 ComfyUI:从零理解 AI 绘图工作流
人工智能
大模型真好玩22 分钟前
别拿Claude Code当对话框:这6个GitHub项目让你吃透代码智能体
人工智能·agent·deepseek
Ajie'Blog28 分钟前
AI 周报 | Claude Opus 4.8、Copilot Agent 和 Codex 工作流加速
前端·人工智能·gpt·ai·copilot·ai编程
网安蟹佬霸30 分钟前
国产4B认知模型新程Alpha落地:李笛带队复刻卡帕西预言,4B参数等效GPT-5.4
人工智能