LLM大语言模型部署到本地(个人总结)

使用的是ollama

在跑ollama run deepseek-r1:latest时cpu100%,说明没有用到gpu

添加命令:

复制代码
set CUDA_VISIBLE_DEVICES=0

运行正常

但在跑70b的时候,cpu又百分比

后续问ai解释到

说白了就是GPU硬件不支持,如果要运行70b的


我重启了电脑 gpu直接

哈哈,于是我又运行了ollama run deepseek-r1:70b

可以了,然后不用了的话

所以说专用内存占用太多,nvidia-smi也看不到(前序进程未释放显存(显存泄漏)),直接重启,然后运行完不用的话要stop

哈哈哈,好好好好好

相关推荐
Are_You_Okkk_1 天前
多场景适配视角下AI开源知识库的部署实践与应用反思
人工智能·开源
YFJ_mily1 天前
【杭州线下召开】2026年计算智能与机器学习国际学术会议(CIML 2026)
人工智能·机器学习
LS_learner1 天前
OpenCode的Agent skill创建方式
人工智能
云布道师1 天前
OSS 向量 Bucket 最佳实践:快速构建多模态图片语义检索
人工智能
独断万古他化1 天前
软件测试新纪元:为什么选择AI测试
人工智能·ai·测试
张张123y1 天前
AI Agent Memory:从理论到实战,掌握长短期记忆的核心技术【1】
大数据·人工智能·transformer
这张生成的图像能检测吗1 天前
(论文速读)SFAFBR:一种自监督的人工特征偏置校正框架
人工智能·深度学习·神经网络·机器学习·故障诊断·自监督学习
大傻^1 天前
LangChain4j Spring Boot Starter:自动配置与声明式 Bean 管理
java·人工智能·spring boot·spring·langchain4j
披着羊皮不是狼1 天前
AI计算系统实战:从算子实现到GPU性能调优
人工智能
大师影视解说1 天前
2026 短剧出海:百亿市场洗牌,自动化翻译与工程本地化
人工智能·视频技术·短剧出海·短剧行业趋势·短剧翻译·视频翻译技术·行业观察