5分钟本地跑起大模型

Ollama 是什么?

一个让你在自家电脑上运行大模型的免费工具,相当于大模型的"安装管家",帮你把复杂的 AI 模型一键下载到本地,不用联网也能用 。

运行本地大模型可以进行微调可以作为个人的知识库,比如模仿作家文风之类的,并且不需要apikey的花费,完全免费。

第一步:装Ollama(就两步)
  1. 打开官网 ollama,根据电脑系统下载,比如Windows版。
  1. 双击安装,完事。(右下角会出现个小羊驼图标)
第二步:下载模型

现在ollama界面友好了很多,之前需要命令行输入,现在你只需在下拉中选择你想下载安装的大模型。要考虑你的显卡,比如3070左右的显卡可以玩玩8b的模型,3060左右的7b,如果你的显卡很差建议运行1.5b大小的模型。目前国产的模型绝大多数都被限制,比如敏感类的文字

第三步:开始聊天

下载完就可以在对话框中和本地大模型对话了,也可以使用cmd命令对话


如果你觉得CMD界面不好看
  • 下载一个叫 Chatbox 的软件。
  • 设置里选模型来源为 Ollama
  • 点开就能用,界面和ChatGPT差不多。

总结

后续如果想通过接口调用模型使用ollama也很简单

嫌C盘空间不够:下载前,先点界面里的设置(Settings),把模型存储位置改到其他盘(比如D盘),省得C盘爆红。

喜欢敲命令的:老办法依然管用,按 Win+R 输入 cmd,敲 ollama run deepseek-r1 也一样跑起来。

相关推荐
我会飞biubiubiu3 分钟前
同一个 AI,为啥有人用出花,有人用出屎?——聊聊上下文工程
人工智能
Csvn4 分钟前
评测体系怎么交付?四件套 + 迁移指南——模块一收官(E05)
人工智能
秦先生在广东4 分钟前
Anthropic Agent Skills 开源发布:Claude 技能系统的定义与扩展指南
人工智能
147API12 分钟前
蒸馏模型上线后怎样设置教师回退,避免失败请求反复烧钱
大数据·人工智能·深度学习·机器学习·蒸馏
aaajavac14 分钟前
让本地 AI Agent 通过 MCP 协议操控浏览器:Browser Copilot 实战指南
人工智能·copilot·开发工具
2301_7681034915 分钟前
AI视频创作Agent实战05:Wan场景融合与VideoRetalk口型驱动
人工智能·音视频
软件技术新观察17 分钟前
企业数字化开发科普:软件定制、小程序、APP 开发全解析
人工智能·小程序
她的男孩21 分钟前
AI 写完 100 万行代码没人 Review,我做了一件事:把 AI 写的代码管起来了
java·人工智能·程序员
差不多的周周24 分钟前
《MoChat:面向多转弯动作理解和描述的关节分组时空接地多通道大语言模型》论文核心部分详解
人工智能·深度学习·机器学习·计算机视觉·语言模型·自然语言处理
jimmyleeee25 分钟前
大模型安全之七:LLM系统提示词泄露
人工智能·安全