DIY自己的AI

一、开源AI大语言模型

目前开源的AI大语言模型(LLM)已经非常的多了,以下是收集的一些LLM:

LLaMA

LLaMA(Large Language Model Meta AI):LLaMA是由MetaAI的Facebook人工智能实验室(FAIR)发布的开放使用的预训练语言模型。它在2022年11月到2023年2月之间训练。LLaMA的工作原理类似于其他大型语言模型,它将一连串的单词作为输入,并预测下一个单词,以递归地生成文本。

2023-06-26日上传至github,目前51.3k star

Gemma

Gemma 是由 Google AI 开发的一系列轻量级、最先进的开源模型,基于用于创建 Google Gemini 模型的研究和技术。Gemma 模型具有出色的语言理解和生成能力。它分为两个规模:2B 和 7B 参数。每个规模都包含基础(预训练)和指令微调版本。Gemma 模型可以在各种类型的消费级硬件上运行,甚至无需量化,且上下文长度可达 8K 个标记。

2024-02-13日上传至github,目前5.1k star

Grok

Grok是一个智能学习系统,通过分析大量数据来获取知识并理解复杂的概念。它利用先进的机器学习算法和深度神经网络,可以处理文本、图像和声音等多种类型的数据。

2024-03-17日上传至github,目前45.6k star。短短几天,这成绩可以说是"狂飙"了

DBRX

DBRX是由Databricks的Mosaic Research团队开发的通用大型语言模型(LLM),旨在为每家企业提供数据智能,让组织能够理解和利用其独特数据来构建自己的人工智能系统。相比现有的开源模型,DBRX在语言理解、编程、数学和逻辑等方面表现更优秀,能够击败多个已建立的开源模型。

2024-02-13日上传至github,目前1.1k star。最近发布的说是可以替代GPT4。

Qwen

Qwen模型是一种基于深度学习的自然语言处理模型,利用大规模语料库进行训练,具有强大的语义理解和文本生成能力。它适用于多种场景,如智能客服、文本摘要、机器翻译等。

2023-08-03日上传至github,目前10.2k star,由阿里云发布。

ChatGLM

ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型,基于 General Language Model (GLM) 架构,具有 62 亿参数。

2023-03-13日上传至github,目前38.8k star,由清华大学支持

二、LLaMA本地安装

Ollama 是一个开源框架,专门设计用于在本地运行大型语言模型。它将模型权重、配置和数据捆绑到一个包中,优化了设置和配置细节,包括 GPU 使用情况,从而简化了在本地运行大型模型的过程. Ollama 可以让用户通过简单的安装指令,在本地运行开源大型语言模型. 安装和使用 Ollama 非常方便,你可以直接在官网下载安装包,或者在 Linux 上使用命令行安装。一旦安装完成,你就可以使用一行命令来运行模型,例如运行中文微调过的 Llama2-Chinese 7B 模型,只需执行以下命令:ollama run llama2-chinese。

step1:下载Ollama

step2:安装Ollama

双击安装OllamaSetup.exe,安装完成后在电脑状态栏会多一个羊驼的图标

step3:安装模型

github.com/ollama/ollama

选择你需要的模型,然后在windows上打开一个cmd,执行,比如:

复制代码
ollama run gemma:2b

接下就是会下载相应的模型,这里比较大,要花不少时间

step4:使用

复制代码
>>> hi who are you

比如打开windows命令窗口:

这就是离线版本AI了....

不过执行起来的确占用大量的CPU,CPU直接狂飙到100%.....内存占用的不是很大....

普通电脑已经可以部署开源AI产品,但并不适用于所有类型的AI应用或任务。在选择部署AI产品及模型时,需要考虑到具体的应用需求和硬件性能要求。

比如这里的模型参数越大,对机器的要求就越高

注意:您应该至少有8 GB的RAM可用于运行7B型号,16 GB用于运行13B型号,32 GB用于运行33B型号。

至于CPU的要求,切切的说是GPU的要求,在国外的一个硬件网站上有列举出:

详细的可以在这里看:

hardware-corner.net/guides/computer-to-run-llama-ai-model

后续会有相关文章介绍ollama的使用及微调大语言模型。

相关推荐
美狐美颜sdk1 小时前
跨平台直播美颜SDK集成实录:Android/iOS如何适配贴纸功能
android·人工智能·ios·架构·音视频·美颜sdk·第三方美颜sdk
DeepSeek-大模型系统教程2 小时前
推荐 7 个本周 yyds 的 GitHub 项目。
人工智能·ai·语言模型·大模型·github·ai大模型·大模型学习
郭庆汝2 小时前
pytorch、torchvision与python版本对应关系
人工智能·pytorch·python
小雷FansUnion4 小时前
深入理解MCP架构:智能服务编排、上下文管理与动态路由实战
人工智能·架构·大模型·mcp
资讯分享周4 小时前
扣子空间PPT生产力升级:AI智能生成与多模态创作新时代
人工智能·powerpoint
叶子爱分享5 小时前
计算机视觉与图像处理的关系
图像处理·人工智能·计算机视觉
鱼摆摆拜拜5 小时前
第 3 章:神经网络如何学习
人工智能·神经网络·学习
一只鹿鹿鹿5 小时前
信息化项目验收,软件工程评审和检查表单
大数据·人工智能·后端·智慧城市·软件工程
张较瘦_5 小时前
[论文阅读] 人工智能 | 深度学习系统崩溃恢复新方案:DaiFu框架的原位修复技术
论文阅读·人工智能·深度学习
cver1235 小时前
野生动物检测数据集介绍-5,138张图片 野生动物保护监测 智能狩猎相机系统 生态研究与调查
人工智能·pytorch·深度学习·目标检测·计算机视觉·目标跟踪