这是来自维基百科里对 LLM 的解释:大语言模型(英语:large language model,LLM)是一种语言模型,由具有许多参数(通常数十亿个权重或更多)的人工神经网络组成,使用自监督学习或半监督学习对大量未标记文本进行训练。
对大多数人来说大语言模型是那么的遥远,不过有一种精神叫着开源精神。它让打破技术的壁垒,使得大语言模型变得触手可及。
一、开源AI大语言模型
目前开源的AI大语言模型(LLM)已经非常的多了,以下是收集的一些LLM:

LLaMA

LLaMA(Large Language Model Meta AI)是由Meta发布的开源的大语言模型,如今已经是第三代 LLaMA 3 。LLaMA 是在 OpenAI 风头正盛的时候,它以开源的方式发布出来,它标志着开源人工智能领域的一个重大进步,目前它支持聊天对话、编程。

在 Github 可以看到 2024/9/25 日发布了 Llama 3.2 的版本。

为了更好地管理和维护,对仓库进行了重组和扩展 原本meta-llama/llama3 的仓库也将会被弃用,最新的仓库是meta-llama/llama-models、 PurpleLlama 、llama-toolchain 等
- llama-models-基础模型的中央存储库,包括基本实用程序、模型卡、许可证和使用策略
- PurpleLlama-Llama Stack的关键组件,专注于安全风险和推断时间缓解
- llama-toolchain-模型开发(推理/微调/安全防护/合成数据生成)接口和规范实现
- llama-agentic-system-E2 E独立Llama Stack系统,沿着自定义底层接口,支持创建代理应用程序
- llama-recipes-社区驱动的脚本和集成
Llama依托于Meta 强大的生态,目前来看还是很有影响力的。

如果你想体验一下的话也可以去他们官网有一个体验网站
Gemma

Gemma是Google DeepMind基于Gemini研究和技术开发的开放权重大型语言模型(LLM)家族。说到 Gemma 可能知道的人比较少,但 Gemini 可能知道的人更多一些,当然Gemini 之前叫的名字是 Bard。

Gemma 就是谷歌在 Gemini 的基础上推出的开源语言模型。
Gemma 模型具有出色的语言理解和生成能力。这是 Gemma 大语言模型在预训练期间获得的知识广度和问题解决能力

Grok
Grok 大语言模型是马斯克成立的 xAI 公司研发的,当时他嘲笑 openai 是 closeai 所以自己开源一个 AI 出来。

2024-03-17日上传至github短短几天就上涨到 40+k star ,这成绩可以说是"狂飙"了。
Grok 官方给的数据,说 Grok-2的早期版本以"sus-column-r"的名称引入了LMPERT聊天机器人竞技场,这是一个流行的竞争性语言模型基准。它的整体Elo得分超过了Claude和GPT-4。

Qwen
Qwen 大语言模型是由于阿里发布的,属于国内第一个开源的大语言模型。
Qwen模型在一系列基准数据集上的表现优于类似模型大小的基线模型,例如,MMLU、C-Eval、GSM8K、MATH、HumanEval、MBPP、BBH等,Qwen-72 B在所有任务上的性能都优于LLaMA 2 - 70 B,在10个任务中有7个任务的性能优于GPT-3.5。

如今阿里已经发布了 Qwen2.5,在各方面都有所提升

- 密集、易于使用、仅限解码器的语言模型,提供0.5B、1.5B、3B、7B、14B、32B和72B大小,以及基本和指令变体。
- 在我们最新的大规模数据集上进行预训练,包含多达18T的令牌。
- 在指令遵循、生成长文本(超过8K令牌)、理解结构化数据(例如,表格)和生成结构化输出(尤其是JSON)方面的显著改进。
- 对系统提示的多样性更具弹性,增强了聊天机器人的角色扮演实施和条件设置。
- 上下文长度支持高达128K的令牌,并可以生成高达8K的令牌。
- 支持超过29种语言,包括中文、英文、法文、西班牙文、葡萄牙文、德文、意大利文、俄文、日文、韩文、越南文、泰文、阿拉伯文等。
- 智谱清言
- StableLM
ChatGLM

ChatGLM是依托清华大学技术转化的开源的、支持中英双语的对话语言模型,基于 General Language Model (GLM) 架构,具有 62 亿参数。
最新的 GLM-4 大语言对话模型,GLM-4在多个指标上有了新的突破。

- GLM-4 开源模型 我们已经开源了 GLM-4-9B 系列模型,在各项指标的ce是上有明显提升,欢迎尝试。
- 智谱清言 体验最新版 GLM-4,包括 GLMs,All tools等功能。
- API平台 新一代 API 平台已经上线,您可以直接在 API 平台上体验
GLM-4-0520
、GLM-4-air
、GLM-4-airx
、GLM-4-flash
、GLM-4
、GLM-3-Turbo
、CharacterGLM-3
,CogView-3
等新模型。 其中GLM-4
、GLM-3-Turbo
两个模型支持了System Prompt
、Function Call
、Retrieval
、Web_Search
等新功能,欢迎体验。 - GLM-4 API 开源教程 GLM-4 API教程和基础应用,欢迎尝试。 API相关问题可以在本开源教程疑问,或者使用 GLM-4 API AI助手 来获得常见问题的帮助。
StableLM
StableLM 是 Stability AI 公司推出的开源大语言模型。我们知道Stable Diffusion 有 AI 绘画方面表现非常的优秀。由于它的开源在 AI 绘画方面就是一面旗帜。当然文生图也离不开自然语言模型,在 2023 年 4 月Stability AI 推出了开源的StableLM 大语言模型。
看到如此多的开源大语言模型,是不是迫不及待想搭建属于自己的 AI 了,下面就来自己搭建一个本地的 AI。
二、LLaMA本地安装
这里使用的是Ollama,Ollama 是一个开源框架,专门设计用于在本地运行大型语言模型。它将模型权重、配置和数据捆绑到一个包中,优化了设置和配置细节,包括 GPU 使用情况,从而简化了在本地运行大型模型的过程。
step1:下载Ollama

step2:安装Ollama
双击安装OllamaSetup.exe,安装完成后在电脑状态栏会多一个羊驼的图标

step3:安装模型
选择相应的模型

选择你需要的模型,然后在windows上打开一个cmd,执行,比如:
ollama run llama3.2
接下就是会下载相应的模型,这里比较大,要花不少时间

如果没有显卡,内存也是可以试试的。官方也给出了建议。
有8 GB的RAM可用于运行7B型号,16 GB用于运行13B型号,32 GB用于运行33B型号。
以下是CPU 与 GPU 跑 AI 时的占用情况

无显卡 CPU 直接狂飙到100%.....内存占用的不是很大....
虽然无显卡电脑已经可以部署开源AI产品,但并不适用于所有类型的AI应用或任务。在选择部署AI产品及模型时,需要考虑到具体的应用需求和硬件性能要求,模型参数越大,对机器的要求就越高。
step4:使用对话
现在就可以打开windows命令窗口:
>>> hi who are you
你也可以让它用中文回答你,英文中文都支持。

这就是 DIY 自己专属离线版本的 AI了....
我是栈江湖,如果你喜欢此文章,不要忘记点赞+关注!