5分钟本地跑起大模型

Ollama 是什么?

一个让你在自家电脑上运行大模型的免费工具,相当于大模型的"安装管家",帮你把复杂的 AI 模型一键下载到本地,不用联网也能用 。

运行本地大模型可以进行微调可以作为个人的知识库,比如模仿作家文风之类的,并且不需要apikey的花费,完全免费。

第一步:装Ollama(就两步)
  1. 打开官网 ollama,根据电脑系统下载,比如Windows版。
  1. 双击安装,完事。(右下角会出现个小羊驼图标)
第二步:下载模型

现在ollama界面友好了很多,之前需要命令行输入,现在你只需在下拉中选择你想下载安装的大模型。要考虑你的显卡,比如3070左右的显卡可以玩玩8b的模型,3060左右的7b,如果你的显卡很差建议运行1.5b大小的模型。目前国产的模型绝大多数都被限制,比如敏感类的文字

第三步:开始聊天

下载完就可以在对话框中和本地大模型对话了,也可以使用cmd命令对话


如果你觉得CMD界面不好看
  • 下载一个叫 Chatbox 的软件。
  • 设置里选模型来源为 Ollama
  • 点开就能用,界面和ChatGPT差不多。

总结

后续如果想通过接口调用模型使用ollama也很简单

嫌C盘空间不够:下载前,先点界面里的设置(Settings),把模型存储位置改到其他盘(比如D盘),省得C盘爆红。

喜欢敲命令的:老办法依然管用,按 Win+R 输入 cmd,敲 ollama run deepseek-r1 也一样跑起来。

相关推荐
初心未改HD17 小时前
从Java转行大模型应用,扣子工作流学习
人工智能
Gary jie17 小时前
AI上下文管理与记忆架构详解
人工智能·机器学习·架构·openclaw
大树8817 小时前
【无标题】
大数据·运维·服务器·人工智能
我材不敲代码17 小时前
基于dlib+OpenCV的人脸疲劳检测 + 年龄性别识别实战
人工智能·opencv·计算机视觉
victory043117 小时前
2026年4月7日nanoGPT训练记录
人工智能
人工智能AI技术17 小时前
AI Agent 的 Harness 机制学习思考
人工智能
夜郎king17 小时前
基于 QGIS 的经销网点空间制图:张雪机车全国门店可视化案例
人工智能·qgis·空间可视化·张雪机车·经销网点制图
chools17 小时前
Java后端拥抱AI开发之个人学习路线 - - Spring AI【第四期】(Tool + MCP)
java·人工智能·学习·spring
薛定猫AI17 小时前
【深度解析】Hermes Agent:用“提示反向传播”打造可自我进化的 AI 智能体
人工智能
亦暖筑序17 小时前
多轮对话的记忆心脏:ChatMemory 滑动窗口原理
java·人工智能