教程丨免费离线AI大模型，断网也能用

Ollama本地部署大模型教程

我们一般聊的大模型，基本都是闭源的，比如ChatGPT、Bard、Claude、文心一言、智谱清言等等。我们登录别人的网站就可以使用。现在还有一些模型是开源的，这些一般可以本地部署，就是你不上网也可以用的大模型。

开源模型通常有自己的开发者社区，你可以去huggingface和GitHub上找到它们。

Hugging Face：https://huggingface.co/
GitHub：https://github.com/

正常来说，本地模型的部署，涉及配置复杂的依赖关系、管理硬件资源、处理可能出现的兼容性问题等。这对我们这种缺乏技术背景的用户来说太复杂了。

这时候就有人想办法了：能不能简化流程，让操作方式更友好一点？

ollama就应运而生了。自动化的安装过程、简化的配置选项和易于使用的界面，立刻就降低了部署的门槛。Ollama 主要面向 macOS 和 Linux 用户，Windows也快了。

1.官网下载客户端

首先第一步，来这个网站：

Ollama：https://ollama.ai/

先把客户端下载了。这一步很简单，下载下来双击安装包就装完了。启动后，很意外，你会发现没有反应，除了状态栏里多了一个小图标。点一下没有想象中那样弹出来一个窗口，就只是出来这么一行小字------Quit Ollama。

是不是完全不适应？跟我们想的那种东西一点也不一样。不过这个确实就安装完了。

2.认识终端app

这个ollama你可以把它理解成是一个大模型的加载程序。使用这个ollama，需要你打开终端，这个终端app在启动台可以搜到。长这样：

点开终端以后终于弹出来一个像记事本一样的界面：

这就是我们操作的地方了。现在你可以先感受一下，在上面输入ollama，然后点回车，你会发现界面出现了如下变化：

上面serve、create、show、run等等都是ollama的命令。其中这几个我们经常会用：

# 列出模型list# 启动模型run# 移除模型rm

使用的时候，前面要加上ollama。比如：我要看看自己下载的全部的模型，那我就要在终端输入：

ollama list

然后点回车。我要启动一个模型，假如这个模型叫ph2，那就需要输入：

ollama run ph2

然后点回车。我要删除一个不想要的模型，比如ph2，那就要输入：

ollama rm ph2

然后点回车。比如，我自己想看看都下载了什么模型，我就在终端输入ollama list，结果是这样的：

这里面显示我下载了5个模型。

llama2-uncensored:7b-chat-fp16
nous-hermes2-mixtral:latest
phi:latest
qwen:14b-chat
yi:6b-chat

那么我想启动一下我已经下载好的yi:6b-chat这个模型，那我就在下面输入：

ollama run yi:6b-chat

箭头所指出的地方就会动，这个表示正在启动中：

然后，等下面这样就是启动完成了：

你在这里可以跟它对话，就像聊天一样：

如果此时，你想换个模型，可以先输入/bye结束这个，然后换下一个，比如nous-hermes2-mixtral:latest这个模型。那你需要输入：

ollama run nous-hermes2-mixtral:latest

启动以后，我们来试试这个：

效果还不错对吧。等等，我们还没有说怎么下载模型呢。

3.本地大模型下载

实际上刚才下载也已经说完了。因为上面有几条命令，就很神奇，在下载好模型的情况下，它是启动，在没有下载好模型的情况下，它就会下载，然后启动：

ollama run yi:6b-chat
ollama run nous-hermes2-mixtral:latest

那么问题来了，ollama run这个知道，那后面的名字是哪里来的呢？是从这里来，你继续回到ollama的官网：

Ollama：https://ollama.ai/

上面有一个模型下载页：

models：https://ollama.ai/library

选择你有兴趣的，点进去看看，就比如llama2吧。进去是这样的：

右上角的命令，熟不熟悉？Tags也很重要，点进去你可以选模型。

右边那些命令，你都可以复制粘贴到终端里面。直接就能下载对应的模型。

4.特别注意

需要注意的是，这些模型当然是越大越好，但是你的电脑带不起来也没用。一般电脑可以选那些比较小的比如4GB以下的模型试试。其实本地小模型，学英语免费陪聊还是挺好的吧。我觉得phi:latest这个就挺不错的。

到此，这个教程就结束了！

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

"最先掌握AI的人，将会比较晚掌握AI的人有竞争优势"。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

大模型 AI 能干什么？
大模型是怎样获得「智能」的？
用好 AI 的核心心法
大模型应用业务架构
大模型应用技术架构
代码示例：向 GPT-3.5 灌入新知识
提示工程的意义和核心思想
Prompt 典型构成
指令调优方法论
思维链和思维树
Prompt 攻击和防范
...

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

为什么要做 RAG
搭建一个简单的 ChatPDF
检索的基础概念
什么是向量表示（Embeddings）
向量数据库与向量检索
基于向量检索的 RAG
搭建 RAG 系统的扩展知识
混合检索与 RAG-Fusion 简介
向量模型本地部署
...

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名"AI小子"。那么你还想往下探索吗？

为什么要做 RAG
什么是模型
什么是模型训练
求解器 & 损失函数简介
小实验2：手写一个简单的神经网络并训练它
什么是训练/预训练/微调/轻量化微调
Transformer结构简介
轻量化微调
实验数据集的构建
...

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

硬件选型
带你了解全球大模型
使用国产大模型服务
搭建 OpenAI 代理
热身：基于阿里云 PAI 部署 Stable Diffusion
在本地计算机运行大模型
大模型的私有化部署
基于 vLLM 部署大模型
案例：如何优雅地在阿里云私有部署开源大模型
部署一套开源 LLM 项目
内容安全
互联网信息服务算法备案
...

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。