LLM大语言模型部署到本地(个人总结)

使用的是ollama

在跑ollama run deepseek-r1:latest时cpu100%,说明没有用到gpu

添加命令:

复制代码
set CUDA_VISIBLE_DEVICES=0

运行正常

但在跑70b的时候,cpu又百分比

后续问ai解释到

说白了就是GPU硬件不支持,如果要运行70b的


我重启了电脑 gpu直接

哈哈,于是我又运行了ollama run deepseek-r1:70b

可以了,然后不用了的话

所以说专用内存占用太多,nvidia-smi也看不到(前序进程未释放显存(显存泄漏)),直接重启,然后运行完不用的话要stop

哈哈哈,好好好好好

相关推荐
Pyeako7 分钟前
深度学习--卷积神经网络(下)
人工智能·python·深度学习·卷积神经网络·数据增强·保存最优模型·数据预处理dataset
OPEN-Source9 分钟前
大模型实战:搭建一张“看得懂”的大模型应用可观测看板
人工智能·python·langchain·rag·deepseek
zzz的学习笔记本11 分钟前
AI智能体时代的记忆 笔记(由大模型生成)
人工智能·智能体
AGI-四顾18 分钟前
文生图模型选型速览
人工智能·ai
大尚来也18 分钟前
一篇搞懂AI通识:用大白话讲清人工智能的核心逻辑
人工智能
Coder_Boy_20 分钟前
Deeplearning4j+ Spring Boot 电商用户复购预测案例
java·人工智能·spring boot·后端·spring
风指引着方向24 分钟前
动态形状算子支持:CANN ops-nn 的灵活推理方案
人工智能·深度学习·神经网络
weixin_3954489127 分钟前
cursor日志
人工智能·python·机器学习
凤希AI伴侣29 分钟前
你觉得,AI能让你“一人成军”吗?我的工具流与真实体验
人工智能·凤希ai伴侣
23遇见32 分钟前
从底层到落地:cann/ops-nn 算子库的技术演进与实践
人工智能