5分钟本地跑起大模型

Ollama 是什么?

一个让你在自家电脑上运行大模型的免费工具,相当于大模型的"安装管家",帮你把复杂的 AI 模型一键下载到本地,不用联网也能用 。

运行本地大模型可以进行微调可以作为个人的知识库,比如模仿作家文风之类的,并且不需要apikey的花费,完全免费。

第一步:装Ollama(就两步)
  1. 打开官网 ollama,根据电脑系统下载,比如Windows版。
  1. 双击安装,完事。(右下角会出现个小羊驼图标)
第二步:下载模型

现在ollama界面友好了很多,之前需要命令行输入,现在你只需在下拉中选择你想下载安装的大模型。要考虑你的显卡,比如3070左右的显卡可以玩玩8b的模型,3060左右的7b,如果你的显卡很差建议运行1.5b大小的模型。目前国产的模型绝大多数都被限制,比如敏感类的文字

第三步:开始聊天

下载完就可以在对话框中和本地大模型对话了,也可以使用cmd命令对话


如果你觉得CMD界面不好看
  • 下载一个叫 Chatbox 的软件。
  • 设置里选模型来源为 Ollama
  • 点开就能用,界面和ChatGPT差不多。

总结

后续如果想通过接口调用模型使用ollama也很简单

嫌C盘空间不够:下载前,先点界面里的设置(Settings),把模型存储位置改到其他盘(比如D盘),省得C盘爆红。

喜欢敲命令的:老办法依然管用,按 Win+R 输入 cmd,敲 ollama run deepseek-r1 也一样跑起来。

相关推荐
liliangcsdn2 小时前
OpenAI流模式下思考过程的获取示例
人工智能
workflower2 小时前
大型语言模型简史
人工智能·语言模型·自然语言处理·chatgpt·机器人·集成测试·ai编程
發糞塗牆2 小时前
【Azure 架构师学习笔记 】- Azure AI(20) - Azure Agent实战落地
人工智能·ai·azure
HIT_Weston2 小时前
16、【Agent】【OpenCode】源码构建(Bun介绍)
人工智能·agent·opencode
_小雨林2 小时前
三种预训练模型架构GPT、BERT、T5
人工智能·gpt·bert·t5
强化学习与机器人控制仿真2 小时前
Kimodo 入门教程(一)英伟达开源人形机器人动捕数据集训练运动学动作扩散模型
人工智能·神经网络·机器人·强化学习·扩散模型·英伟达·人形机器人
脱脱克克2 小时前
OpenClaw Cron 完全指南:解锁 AI 智能体的定时自动化超能力
人工智能·自动化·openclaw
江城月下2 小时前
从零开始:我在 Mac M1 上搭建离线 AI 知识库的实战记录
人工智能·macos
电商API&Tina2 小时前
item_video-获得淘宝商品视频 API||商品API
java·大数据·服务器·数据库·人工智能·python·mysql