5分钟本地跑起大模型

Ollama 是什么?

一个让你在自家电脑上运行大模型的免费工具,相当于大模型的"安装管家",帮你把复杂的 AI 模型一键下载到本地,不用联网也能用 。

运行本地大模型可以进行微调可以作为个人的知识库,比如模仿作家文风之类的,并且不需要apikey的花费,完全免费。

第一步:装Ollama(就两步)
  1. 打开官网 ollama,根据电脑系统下载,比如Windows版。
  1. 双击安装,完事。(右下角会出现个小羊驼图标)
第二步:下载模型

现在ollama界面友好了很多,之前需要命令行输入,现在你只需在下拉中选择你想下载安装的大模型。要考虑你的显卡,比如3070左右的显卡可以玩玩8b的模型,3060左右的7b,如果你的显卡很差建议运行1.5b大小的模型。目前国产的模型绝大多数都被限制,比如敏感类的文字

第三步:开始聊天

下载完就可以在对话框中和本地大模型对话了,也可以使用cmd命令对话


如果你觉得CMD界面不好看
  • 下载一个叫 Chatbox 的软件。
  • 设置里选模型来源为 Ollama
  • 点开就能用,界面和ChatGPT差不多。

总结

后续如果想通过接口调用模型使用ollama也很简单

嫌C盘空间不够:下载前,先点界面里的设置(Settings),把模型存储位置改到其他盘(比如D盘),省得C盘爆红。

喜欢敲命令的:老办法依然管用,按 Win+R 输入 cmd,敲 ollama run deepseek-r1 也一样跑起来。

相关推荐
AI自动化工坊27 分钟前
Hugging Face ml-intern技术深度解析:AI机器学习工程师的工程实践
人工智能·机器学习·huggingface·ml-intern·ai机器学习
疯狂成瘾者29 分钟前
Agent 的需求理解质量如何具体实现:从意图识别到槽位补全、追问与确认机制
人工智能·自然语言处理
北京软秦科技有限公司35 分钟前
资料验收报告审核再升级,IACheck与AI报告审核共同开创新标准
人工智能
Zzj_tju36 分钟前
视觉语言模型技术指南:图像是怎么“接入”语言模型的?视觉编码器、投影层与对齐机制详解
人工智能·语言模型·自然语言处理
Fullde福德负载箱厂家38 分钟前
负载箱的日常运维与故障处置:用户应知的设备保养与异常应对
人工智能·制造
jinanwuhuaguo44 分钟前
OpenClaw工程解剖——RAG、向量织构与“记忆宫殿”的索引拓扑学(第十三篇)
android·开发语言·人工智能·kotlin·拓扑学·openclaw
大龄程序员狗哥1 小时前
第44篇:命名实体识别(NER)实战——从文本中提取关键信息(项目实战)
人工智能
lpfasd1231 小时前
2026年第17周GitHub趋势周报:AI代理工程化与端侧智能加速落地
人工智能·github
nervermore9901 小时前
2.人工智能学习-环境搭建
人工智能
Flying pigs~~1 小时前
LoRA 面试完全指南:低秩分解原理 + Transformer 应用
人工智能·深度学习·lora·大模型·微调·transformer