开源大模型LLaMA架构介绍

大模型相关目录

大模型,包括部署微调prompt/Agent应用开发、知识库增强、数据库增强、知识图谱增强、自然语言处理、多模态等大模型应用开发内容
从0起步,扬帆起航。

  1. swift与Internvl下的多模态大模型分布式微调指南(附代码和数据)
  2. 多模态大模型Internvl-1.5-26B微调后部署及测试实录(附代码)
  3. 多模态大模型Internvl-2-26B的OCR赋能方案(附代码)
  4. miniconda+xinference的大模型推理部署指南
  5. Mem0:大模型最强赋能"有记忆的LLM"
  6. 再谈Agent:Dify智能体实现Txet2SQL
  7. Moe模式:或将是最好的大模型应用开发路径
  8. 一文带你了解大模型RAG
  9. 详细记录swfit微调interVL2-8B多模态大模型进行目标检测(附代码)
  10. DIfy中集成magic-pdf实现文档解析agent与多模态大模型图文问答
  11. 大模型Prompt trick:利用大模型同情心提升模型性能
  12. 一文带你入门大模型微调
  13. 开源大模型LLaMA架构介绍

文章目录


开源大模型LLaMA架构介绍

抛砖引玉,用最近获取的一些资料,介绍一些羊驼模型的技术点和发展历史。

ChatGPT等商业大模型并不"Open"

• 以ChatGPT为代表的商业大模型不论是在效果上还是用户体验上都具有显著优势

• 然而,由于商业大模型的封闭性,使得整个模型属于"黑盒",不利于开放透明的技术研究

• 学术界需要开源开放的大模型以供未来的技术探索与研究

LLaMA

Open and Efficient Foundation Language Models (Open但没完全Open的LLaMA)

• 2023年2月,Meta(原Facebook)推出了LLaMA大模型,使用了1.4T token进行训练

• 虽然最大模型只有65B,但在相关评测任务上的效果可以媲美甚至超过千亿级大模型

• 被认为是近期开源大模型百花齐放的开端之一,

"羊驼"系列模型及其生态快速发展

• 主干模型仍然是传统的transformer decoder结构

• 主要技术:Pre-normalization, SwiGLU activation, Rotary Embedding (RoPE)

模型技术:RMSNorm (Zhang and Sennrich, 2019)

• RMSNorm相比LayerNorm计算更加简单而且更有效,经常被用于大模型训练中

• LLaMA模型中的"norm"均使用了RMSNorm

模型技术:SwiGLU (Shazeer, 2020)

• 谷歌提出的优化Transformer全连接层的新激活方法,在后续的PaLM等模型中也得到应用

• LLaMA中直接将FFN中的ReLU替换为SwiGLU,并将维度放缩为(2/3) ⋅ 4d


模型技术:SwiGLU (Shazeer, 2020)

• 在GLUE、SQuAD上的实验结果表明,SwiGLU、ReGLU相比其他激活函数具有一定性能优势

• 基于Gating的方法普遍优于单纯的激活函数(ReLU/GELU/Swish等)

模型技术:Rotary Embeddings, RoPE (Su et al., 2021)

• 绝对位置编码




Llama-2

Grouped-Query Attention (GQA) (Ainslie et al., 2023)

• GQA是一种提升推理速度的方法,主要针对多头注意力机制进行改进,与KV cache搭配使用


中文LLaMA&Alpaca大模型系列









相关推荐
千澜空4 分钟前
celery在django项目中实现并发任务和定时任务
python·django·celery·定时任务·异步任务
学习前端的小z7 分钟前
【AIGC】如何通过ChatGPT轻松制作个性化GPTs应用
人工智能·chatgpt·aigc
斯凯利.瑞恩12 分钟前
Python决策树、随机森林、朴素贝叶斯、KNN(K-最近邻居)分类分析银行拉新活动挖掘潜在贷款客户附数据代码
python·决策树·随机森林
yannan2019031333 分钟前
【算法】(Python)动态规划
python·算法·动态规划
埃菲尔铁塔_CV算法35 分钟前
人工智能图像算法:开启视觉新时代的钥匙
人工智能·算法
EasyCVR35 分钟前
EHOME视频平台EasyCVR视频融合平台使用OBS进行RTMP推流,WebRTC播放出现抖动、卡顿如何解决?
人工智能·算法·ffmpeg·音视频·webrtc·监控视频接入
打羽毛球吗️41 分钟前
机器学习中的两种主要思路:数据驱动与模型驱动
人工智能·机器学习
蒙娜丽宁43 分钟前
《Python OpenCV从菜鸟到高手》——零基础进阶,开启图像处理与计算机视觉的大门!
python·opencv·计算机视觉
光芒再现dev44 分钟前
已解决,部署GPTSoVITS报错‘AsyncRequest‘ object has no attribute ‘_json_response_data‘
运维·python·gpt·语言模型·自然语言处理
好喜欢吃红柚子1 小时前
万字长文解读空间、通道注意力机制机制和超详细代码逐行分析(SE,CBAM,SGE,CA,ECA,TA)
人工智能·pytorch·python·计算机视觉·cnn