5分钟本地跑起大模型

Ollama 是什么?

一个让你在自家电脑上运行大模型的免费工具,相当于大模型的"安装管家",帮你把复杂的 AI 模型一键下载到本地,不用联网也能用 。

运行本地大模型可以进行微调可以作为个人的知识库,比如模仿作家文风之类的,并且不需要apikey的花费,完全免费。

第一步:装Ollama(就两步)
  1. 打开官网 ollama,根据电脑系统下载,比如Windows版。
  1. 双击安装,完事。(右下角会出现个小羊驼图标)
第二步:下载模型

现在ollama界面友好了很多,之前需要命令行输入,现在你只需在下拉中选择你想下载安装的大模型。要考虑你的显卡,比如3070左右的显卡可以玩玩8b的模型,3060左右的7b,如果你的显卡很差建议运行1.5b大小的模型。目前国产的模型绝大多数都被限制,比如敏感类的文字

第三步:开始聊天

下载完就可以在对话框中和本地大模型对话了,也可以使用cmd命令对话


如果你觉得CMD界面不好看
  • 下载一个叫 Chatbox 的软件。
  • 设置里选模型来源为 Ollama。
  • 点开就能用,界面和ChatGPT差不多。

总结

后续如果想通过接口调用模型使用ollama也很简单

嫌C盘空间不够:下载前,先点界面里的设置(Settings),把模型存储位置改到其他盘(比如D盘),省得C盘爆红。

喜欢敲命令的:老办法依然管用,按 Win+R 输入 cmd,敲 ollama run deepseek-r1 也一样跑起来。

相关推荐
志尊宝6 分钟前
AI原生前端开发(009):AI辅助性能分析与优化建议
人工智能·react.js·ai-native
KeyAction66667 分钟前
第二届中国国际人工智能+行动大会看点:智能体专场、算力账本与产品发布
人工智能·ai
johnsong9 分钟前
AI前沿日报 2026-10-19:硅基心智觉醒
人工智能
紧跟先前的步伐12 分钟前
Go AI Agent 实战 03|Token、上下文窗口与模型调用成本
java·人工智能·golang
老金带你玩AI20 分钟前
Taste Skill V2来了,AI做的网站还会一眼认出来吗?
人工智能
方方洛35 分钟前
ai-agent教程-18-附录E-推荐阅读与资源
人工智能·llm·agent
const_qiu37 分钟前
第四章 00:开篇 —— 从「会聊天」到「记得住、会干活、能协作」
java·开发语言·人工智能·python
石狮松松1 小时前
第 05 章 你的第一行"AI"代码:拟合一条直线
人工智能
用户360055579001 小时前
Kestrel_VLLM - 14 · router 两个方向判否,与 decode 的真瓶颈
人工智能
狒狒AI1 小时前
Remotion / GSAP+Three / HyperFrames / Skia 四栈实测:代码渲染知识视频的选栈方法(附开源技能)
前端·人工智能·aigc