LLM大语言模型部署到本地(个人总结)

使用的是ollama

在跑ollama run deepseek-r1:latest时cpu100%,说明没有用到gpu

添加命令:

复制代码
set CUDA_VISIBLE_DEVICES=0

运行正常

但在跑70b的时候,cpu又百分比

后续问ai解释到

说白了就是GPU硬件不支持,如果要运行70b的


我重启了电脑 gpu直接

哈哈,于是我又运行了ollama run deepseek-r1:70b

可以了,然后不用了的话

所以说专用内存占用太多,nvidia-smi也看不到(前序进程未释放显存(显存泄漏)),直接重启,然后运行完不用的话要stop

哈哈哈,好好好好好

相关推荐
hxcat19 小时前
AI 提示词测试:在人工智能时代践行“测试左移“理念
软件测试·人工智能·chatgpt
居然JuRan19 小时前
AI自动画界面?Google这个开源神器让前端工程师失业了
人工智能
Biehmltym19 小时前
【AI】09AI Agent LLM → Streaming → Session 记录 的完整链路
大数据·人工智能·elasticsearch
水如烟20 小时前
孤能子视角:“数学“,哥德尔边界动力学分析
人工智能
摸鱼仙人~20 小时前
Agent 意图识别:从传统 NLU 到 LLM 驱动的范式变革
人工智能·深度学习
Narrastory20 小时前
给数据“做减法”:PCA与UMAP详解与代码实现
人工智能·数据分析
kevin_kang20 小时前
技术选型背后的思考:为什么选择Next.js + FastAPI + LangChain
人工智能
了了侠20 小时前
也论三个数字化与Palantir本体论
人工智能·数字化转型·业务架构·业务建模·本体论·palantir
kevin_kang20 小时前
三层架构设计:前端+业务+AI层的职责划分
人工智能