LLM大语言模型部署到本地(个人总结)

使用的是ollama

在跑ollama run deepseek-r1:latest时cpu100%,说明没有用到gpu

添加命令:

复制代码
set CUDA_VISIBLE_DEVICES=0

运行正常

但在跑70b的时候,cpu又百分比

后续问ai解释到

说白了就是GPU硬件不支持,如果要运行70b的


我重启了电脑 gpu直接

哈哈,于是我又运行了ollama run deepseek-r1:70b

可以了,然后不用了的话

所以说专用内存占用太多,nvidia-smi也看不到(前序进程未释放显存(显存泄漏)),直接重启,然后运行完不用的话要stop

哈哈哈,好好好好好

相关推荐
AI科技星2 分钟前
统一场论理论下理解物体在不同运动状态的本质
人工智能·线性代数·算法·机器学习·概率论
乾元6 分钟前
数据为王——安全数据集的清洗与特征工程
大数据·网络·人工智能·安全·web安全·机器学习·架构
wangmengxxw9 分钟前
SpringAI-结构化输出API
java·人工智能·springai
国际期刊-秋秋11 分钟前
[ACM] 2026 年人工智能系统、区块链与数字经济国际学术会议(DEAI 2026)
人工智能·国际会议·会议投稿
2501_9402778012 分钟前
告别碎片化集成:使用 MCP 标准化重构企业内部遗留 API,构建统一的 AI 原生接口中心
人工智能·重构
萤丰信息16 分钟前
智慧园区:科技赋能的未来产业生态新载体
大数据·运维·人工智能·科技·智慧园区
ASD123asfadxv22 分钟前
【医疗影像检测】VFNet模型在医疗器械目标检测中的应用与优化
人工智能·目标检测·计算机视觉
小真zzz24 分钟前
2025-2026年AI PPT工具排行榜:ChatPPT的全面领先与竞品格局解析
人工智能·ai·powerpoint·ppt·aippt
智慧化智能化数字化方案25 分钟前
详解人工智能安全治理框架(中文版)【附全文阅读】
大数据·人工智能·人工智能安全治理框架
人工智能培训40 分钟前
开源与闭源大模型的竞争未来会如何?
人工智能·机器学习·语言模型·大模型·大模型幻觉·开源大模型·闭源大模型