开源LLM:开启DIY你的专属AI之路

这是来自维基百科里对 LLM 的解释:大语言模型(英语:large language model,LLM)是一种语言模型,由具有许多参数(通常数十亿个权重或更多)的人工神经网络组成,使用自监督学习或半监督学习对大量未标记文本进行训练。

对大多数人来说大语言模型是那么的遥远,不过有一种精神叫着开源精神。它让打破技术的壁垒,使得大语言模型变得触手可及。

一、开源AI大语言模型

目前开源的AI大语言模型(LLM)已经非常的多了,以下是收集的一些LLM:

LLaMA

LLaMA(Large Language Model Meta AI)是由Meta发布的开源的大语言模型,如今已经是第三代 LLaMA 3 。LLaMA 是在 OpenAI 风头正盛的时候,它以开源的方式发布出来,它标志着开源人工智能领域的一个重大进步,目前它支持聊天对话、编程。

在 Github 可以看到 2024/9/25 日发布了 Llama 3.2 的版本。

为了更好地管理和维护,对仓库进行了重组和扩展 原本meta-llama/llama3 的仓库也将会被弃用,最新的仓库是meta-llama/llama-models、 PurpleLlama 、llama-toolchain 等

  • llama-models-基础模型的中央存储库,包括基本实用程序、模型卡、许可证和使用策略
  • PurpleLlama-Llama Stack的关键组件,专注于安全风险和推断时间缓解
  • llama-toolchain-模型开发(推理/微调/安全防护/合成数据生成)接口和规范实现
  • llama-agentic-system-E2 E独立Llama Stack系统,沿着自定义底层接口,支持创建代理应用程序
  • llama-recipes-社区驱动的脚本和集成

Llama依托于Meta 强大的生态,目前来看还是很有影响力的。

如果你想体验一下的话也可以去他们官网有一个体验网站

Gemma

Gemma是Google DeepMind基于Gemini研究和技术开发的开放权重大型语言模型(LLM)家族。说到 Gemma 可能知道的人比较少,但 Gemini 可能知道的人更多一些,当然Gemini 之前叫的名字是 Bard。

Gemma 就是谷歌在 Gemini 的基础上推出的开源语言模型。

Gemma 模型具有出色的语言理解和生成能力。这是 Gemma 大语言模型在预训练期间获得的知识广度和问题解决能力

Grok

Grok 大语言模型是马斯克成立的 xAI 公司研发的,当时他嘲笑 openai 是 closeai 所以自己开源一个 AI 出来。

2024-03-17日上传至github短短几天就上涨到 40+k star ,这成绩可以说是"狂飙"了。

Grok 官方给的数据,说 Grok-2的早期版本以"sus-column-r"的名称引入了LMPERT聊天机器人竞技场,这是一个流行的竞争性语言模型基准。它的整体Elo得分超过了Claude和GPT-4。

Qwen

Qwen 大语言模型是由于阿里发布的,属于国内第一个开源的大语言模型。

Qwen模型在一系列基准数据集上的表现优于类似模型大小的基线模型,例如,MMLU、C-Eval、GSM8K、MATH、HumanEval、MBPP、BBH等,Qwen-72 B在所有任务上的性能都优于LLaMA 2 - 70 B,在10个任务中有7个任务的性能优于GPT-3.5。

如今阿里已经发布了 Qwen2.5,在各方面都有所提升

  • 密集、易于使用、仅限解码器的语言模型,提供0.5B、1.5B、3B、7B、14B、32B和72B大小,以及基本和指令变体。
  • 在我们最新的大规模数据集上进行预训练,包含多达18T的令牌。
  • 在指令遵循、生成长文本(超过8K令牌)、理解结构化数据(例如,表格)和生成结构化输出(尤其是JSON)方面的显著改进。
  • 对系统提示的多样性更具弹性,增强了聊天机器人的角色扮演实施和条件设置。
  • 上下文长度支持高达128K的令牌,并可以生成高达8K的令牌。
  • 支持超过29种语言,包括中文、英文、法文、西班牙文、葡萄牙文、德文、意大利文、俄文、日文、韩文、越南文、泰文、阿拉伯文等。
  • 智谱清言
  • StableLM

ChatGLM

ChatGLM是依托清华大学技术转化的开源的、支持中英双语的对话语言模型,基于 General Language Model (GLM) 架构,具有 62 亿参数。

最新的 GLM-4 大语言对话模型,GLM-4在多个指标上有了新的突破。

  • GLM-4 开源模型 我们已经开源了 GLM-4-9B 系列模型,在各项指标的ce是上有明显提升,欢迎尝试。
  • 智谱清言 体验最新版 GLM-4,包括 GLMs,All tools等功能。
  • API平台 新一代 API 平台已经上线,您可以直接在 API 平台上体验 GLM-4-0520GLM-4-airGLM-4-airxGLM-4-flashGLM-4GLM-3-TurboCharacterGLM-3CogView-3 等新模型。 其中GLM-4GLM-3-Turbo两个模型支持了 System PromptFunction CallRetrievalWeb_Search等新功能,欢迎体验。
  • GLM-4 API 开源教程 GLM-4 API教程和基础应用,欢迎尝试。 API相关问题可以在本开源教程疑问,或者使用 GLM-4 API AI助手 来获得常见问题的帮助。

StableLM

StableLM 是 Stability AI 公司推出的开源大语言模型。我们知道Stable Diffusion 有 AI 绘画方面表现非常的优秀。由于它的开源在 AI 绘画方面就是一面旗帜。当然文生图也离不开自然语言模型,在 2023 年 4 月Stability AI 推出了开源的StableLM 大语言模型。

看到如此多的开源大语言模型,是不是迫不及待想搭建属于自己的 AI 了,下面就来自己搭建一个本地的 AI。

二、LLaMA本地安装

这里使用的是Ollama,Ollama 是一个开源框架,专门设计用于在本地运行大型语言模型。它将模型权重、配置和数据捆绑到一个包中,优化了设置和配置细节,包括 GPU 使用情况,从而简化了在本地运行大型模型的过程。

step1:下载Ollama

step2:安装Ollama

双击安装OllamaSetup.exe,安装完成后在电脑状态栏会多一个羊驼的图标

step3:安装模型

选择相应的模型

github.com/ollama/ollama

选择你需要的模型,然后在windows上打开一个cmd,执行,比如:

ollama run llama3.2

接下就是会下载相应的模型,这里比较大,要花不少时间

如果没有显卡,内存也是可以试试的。官方也给出了建议。

有8 GB的RAM可用于运行7B型号,16 GB用于运行13B型号,32 GB用于运行33B型号。

以下是CPU 与 GPU 跑 AI 时的占用情况

无显卡 CPU 直接狂飙到100%.....内存占用的不是很大....

虽然无显卡电脑已经可以部署开源AI产品,但并不适用于所有类型的AI应用或任务。在选择部署AI产品及模型时,需要考虑到具体的应用需求和硬件性能要求,模型参数越大,对机器的要求就越高。

step4:使用对话

现在就可以打开windows命令窗口:

>>> hi who are you

你也可以让它用中文回答你,英文中文都支持。

这就是 DIY 自己专属离线版本的 AI了....

我是栈江湖,如果你喜欢此文章,不要忘记点赞+关注

相关推荐
NiNg_1_23439 分钟前
YOLOv5训练长方形图像详解
人工智能·yolo·目标跟踪
西岸风1662 小时前
【2025最新】机器学习类计算机毕设选题80套,适合大数据,人工智能
人工智能·机器学习·课程设计
玄明Hanko2 小时前
开源AI微调指南:入门级简单训练,初探AI之路
人工智能·python·ai·llma
Stanford_11062 小时前
AI大模型如何赋能电商行业并引领变革?
大数据·人工智能·微信小程序·微信公众平台·twitter·微信开放平台
游客5202 小时前
图像处理|开运算
图像处理·人工智能·python·opencv·计算机视觉
金士镧新材料有限公司3 小时前
稀土化合物:引领科技创新,推动绿色发展
人工智能·科技·安全·全文检索·生活
feifeikon3 小时前
PyTorch DAY1: 基础语法
人工智能·pytorch·python
yuanbenshidiaos3 小时前
【大数据】机器学习 -----关于data.csv数据集分析案例
大数据·人工智能·机器学习
deephub3 小时前
TorchOptimizer:基于贝叶斯优化的PyTorch Lightning超参数调优框架
人工智能·pytorch·python·机器学习·超参数调优
墨绿色的摆渡人3 小时前
pytorch小记(六):pytorch中的clone和detach操作:克隆/复制数据 vs 共享相同数据但 与计算图断开联系
人工智能·pytorch·python