开源大模型LLaMA架构介绍

大模型相关目录

大模型,包括部署微调prompt/Agent应用开发、知识库增强、数据库增强、知识图谱增强、自然语言处理、多模态等大模型应用开发内容
从0起步,扬帆起航。

  1. swift与Internvl下的多模态大模型分布式微调指南(附代码和数据)
  2. 多模态大模型Internvl-1.5-26B微调后部署及测试实录(附代码)
  3. 多模态大模型Internvl-2-26B的OCR赋能方案(附代码)
  4. miniconda+xinference的大模型推理部署指南
  5. Mem0:大模型最强赋能"有记忆的LLM"
  6. 再谈Agent:Dify智能体实现Txet2SQL
  7. Moe模式:或将是最好的大模型应用开发路径
  8. 一文带你了解大模型RAG
  9. 详细记录swfit微调interVL2-8B多模态大模型进行目标检测(附代码)
  10. DIfy中集成magic-pdf实现文档解析agent与多模态大模型图文问答
  11. 大模型Prompt trick:利用大模型同情心提升模型性能
  12. 一文带你入门大模型微调
  13. 开源大模型LLaMA架构介绍

文章目录


开源大模型LLaMA架构介绍

抛砖引玉,用最近获取的一些资料,介绍一些羊驼模型的技术点和发展历史。

ChatGPT等商业大模型并不"Open"

• 以ChatGPT为代表的商业大模型不论是在效果上还是用户体验上都具有显著优势

• 然而,由于商业大模型的封闭性,使得整个模型属于"黑盒",不利于开放透明的技术研究

• 学术界需要开源开放的大模型以供未来的技术探索与研究

LLaMA

Open and Efficient Foundation Language Models (Open但没完全Open的LLaMA)

• 2023年2月,Meta(原Facebook)推出了LLaMA大模型,使用了1.4T token进行训练

• 虽然最大模型只有65B,但在相关评测任务上的效果可以媲美甚至超过千亿级大模型

• 被认为是近期开源大模型百花齐放的开端之一,

"羊驼"系列模型及其生态快速发展

• 主干模型仍然是传统的transformer decoder结构

• 主要技术:Pre-normalization, SwiGLU activation, Rotary Embedding (RoPE)

模型技术:RMSNorm (Zhang and Sennrich, 2019)

• RMSNorm相比LayerNorm计算更加简单而且更有效,经常被用于大模型训练中

• LLaMA模型中的"norm"均使用了RMSNorm

模型技术:SwiGLU (Shazeer, 2020)

• 谷歌提出的优化Transformer全连接层的新激活方法,在后续的PaLM等模型中也得到应用

• LLaMA中直接将FFN中的ReLU替换为SwiGLU,并将维度放缩为(2/3) ⋅ 4d


模型技术:SwiGLU (Shazeer, 2020)

• 在GLUE、SQuAD上的实验结果表明,SwiGLU、ReGLU相比其他激活函数具有一定性能优势

• 基于Gating的方法普遍优于单纯的激活函数(ReLU/GELU/Swish等)

模型技术:Rotary Embeddings, RoPE (Su et al., 2021)

• 绝对位置编码




Llama-2

Grouped-Query Attention (GQA) (Ainslie et al., 2023)

• GQA是一种提升推理速度的方法,主要针对多头注意力机制进行改进,与KV cache搭配使用


中文LLaMA&Alpaca大模型系列









相关推荐
满怀10154 分钟前
Python入门(7):模块
python
无名之逆4 分钟前
Rust 开发提效神器:lombok-macros 宏库
服务器·开发语言·前端·数据库·后端·python·rust
你觉得2058 分钟前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义下载方法
大数据·人工智能·python·gpt·学习·机器学习·aigc
啊喜拔牙17 分钟前
1. hadoop 集群的常用命令
java·大数据·开发语言·python·scala
8K超高清26 分钟前
中国8K摄像机:科技赋能文化传承新图景
大数据·人工智能·科技·物联网·智能硬件
hyshhhh1 小时前
【算法岗面试题】深度学习中如何防止过拟合?
网络·人工智能·深度学习·神经网络·算法·计算机视觉
薛定谔的猫-菜鸟程序员1 小时前
零基础玩转深度神经网络大模型:从Hello World到AI炼金术-详解版(含:Conda 全面使用指南)
人工智能·神经网络·dnn
币之互联万物1 小时前
2025 AI智能数字农业研讨会在苏州启幕,科技助农与数据兴业成焦点
人工智能·科技
云卓SKYDROID1 小时前
科技赋能消防:无人机“挂弹灭火“构筑森林防火墙!
人工智能·科技·无人机·科普·云卓科技
gaoshengdainzi1 小时前
镜片防雾性能测试仪在自动驾驶与无人机领域的创新应用
人工智能·自动驾驶·无人机·镜片防雾性能测试仪