LLM大语言模型部署到本地(个人总结)

使用的是ollama

在跑ollama run deepseek-r1:latest时cpu100%,说明没有用到gpu

添加命令:

复制代码
set CUDA_VISIBLE_DEVICES=0

运行正常

但在跑70b的时候,cpu又百分比

后续问ai解释到

说白了就是GPU硬件不支持,如果要运行70b的


我重启了电脑 gpu直接

哈哈,于是我又运行了ollama run deepseek-r1:70b

可以了,然后不用了的话

所以说专用内存占用太多,nvidia-smi也看不到(前序进程未释放显存(显存泄漏)),直接重启,然后运行完不用的话要stop

哈哈哈,好好好好好

相关推荐
牛奶28 分钟前
AI 能赚钱了——但赚的不是你
人工智能·ai编程·nvidia
凌杰1 小时前
AI 学习笔记:研究方法的演变
人工智能
半盏药香1 小时前
由于jinja2的starlette版本过高引发的问题:500 Server Error TypeError: unhashable type: 'dict'
人工智能
阿里云大数据AI技术1 小时前
MiniMax M3、Kimi K2.7 Code来啦!PAI已支持一键部署,开源前沿触手可及
人工智能·agent
百度Geek说1 小时前
AI Coding 的底层框架:一切优化都是在对抗熵增
人工智能
Java研究者1 小时前
AI智能体研发 | 什么是OpenAI API协议
人工智能·大模型·openai·api·agent·智能体
只是没名字2 小时前
Codex CLI Windows 新手安装教程:从 Node.js 到首次运行
人工智能
用户8630652696132 小时前
Krea 2 LoRA 训练全流程踩坑记录:从打标到双卡并行的 Windows 原生实战
人工智能
木雷坞4 小时前
让 AI 编程助手跑得起项目:Dev Container 实践记录
人工智能
腾讯云开发者5 小时前
港科大郭毅可谈Agentic AI时代的核心命题:人机共生,人不可能退场
人工智能