开源大模型LLaMA架构介绍

大模型相关目录

大模型,包括部署微调prompt/Agent应用开发、知识库增强、数据库增强、知识图谱增强、自然语言处理、多模态等大模型应用开发内容
从0起步,扬帆起航。

  1. swift与Internvl下的多模态大模型分布式微调指南(附代码和数据)
  2. 多模态大模型Internvl-1.5-26B微调后部署及测试实录(附代码)
  3. 多模态大模型Internvl-2-26B的OCR赋能方案(附代码)
  4. miniconda+xinference的大模型推理部署指南
  5. Mem0:大模型最强赋能"有记忆的LLM"
  6. 再谈Agent:Dify智能体实现Txet2SQL
  7. Moe模式:或将是最好的大模型应用开发路径
  8. 一文带你了解大模型RAG
  9. 详细记录swfit微调interVL2-8B多模态大模型进行目标检测(附代码)
  10. DIfy中集成magic-pdf实现文档解析agent与多模态大模型图文问答
  11. 大模型Prompt trick:利用大模型同情心提升模型性能
  12. 一文带你入门大模型微调
  13. 开源大模型LLaMA架构介绍

文章目录


开源大模型LLaMA架构介绍

抛砖引玉,用最近获取的一些资料,介绍一些羊驼模型的技术点和发展历史。

ChatGPT等商业大模型并不"Open"

• 以ChatGPT为代表的商业大模型不论是在效果上还是用户体验上都具有显著优势

• 然而,由于商业大模型的封闭性,使得整个模型属于"黑盒",不利于开放透明的技术研究

• 学术界需要开源开放的大模型以供未来的技术探索与研究

LLaMA

Open and Efficient Foundation Language Models (Open但没完全Open的LLaMA)

• 2023年2月,Meta(原Facebook)推出了LLaMA大模型,使用了1.4T token进行训练

• 虽然最大模型只有65B,但在相关评测任务上的效果可以媲美甚至超过千亿级大模型

• 被认为是近期开源大模型百花齐放的开端之一,

"羊驼"系列模型及其生态快速发展

• 主干模型仍然是传统的transformer decoder结构

• 主要技术:Pre-normalization, SwiGLU activation, Rotary Embedding (RoPE)

模型技术:RMSNorm (Zhang and Sennrich, 2019)

• RMSNorm相比LayerNorm计算更加简单而且更有效,经常被用于大模型训练中

• LLaMA模型中的"norm"均使用了RMSNorm

模型技术:SwiGLU (Shazeer, 2020)

• 谷歌提出的优化Transformer全连接层的新激活方法,在后续的PaLM等模型中也得到应用

• LLaMA中直接将FFN中的ReLU替换为SwiGLU,并将维度放缩为(2/3) ⋅ 4d


模型技术:SwiGLU (Shazeer, 2020)

• 在GLUE、SQuAD上的实验结果表明,SwiGLU、ReGLU相比其他激活函数具有一定性能优势

• 基于Gating的方法普遍优于单纯的激活函数(ReLU/GELU/Swish等)

模型技术:Rotary Embeddings, RoPE (Su et al., 2021)

• 绝对位置编码




Llama-2

Grouped-Query Attention (GQA) (Ainslie et al., 2023)

• GQA是一种提升推理速度的方法,主要针对多头注意力机制进行改进,与KV cache搭配使用


中文LLaMA&Alpaca大模型系列









相关推荐
HPC_fac1305206781625 分钟前
以科学计算为切入点:剖析英伟达服务器过热难题
服务器·人工智能·深度学习·机器学习·计算机视觉·数据挖掘·gpu算力
网易独家音乐人Mike Zhou3 小时前
【卡尔曼滤波】数据预测Prediction观测器的理论推导及应用 C语言、Python实现(Kalman Filter)
c语言·python·单片机·物联网·算法·嵌入式·iot
安静读书3 小时前
Python解析视频FPS(帧率)、分辨率信息
python·opencv·音视频
小陈phd3 小时前
OpenCV从入门到精通实战(九)——基于dlib的疲劳监测 ear计算
人工智能·opencv·计算机视觉
Guofu_Liao4 小时前
大语言模型---LoRA简介;LoRA的优势;LoRA训练步骤;总结
人工智能·语言模型·自然语言处理·矩阵·llama
小二·5 小时前
java基础面试题笔记(基础篇)
java·笔记·python
小喵要摸鱼6 小时前
Python 神经网络项目常用语法
python
gz7seven6 小时前
BLIP-2模型的详解与思考
大模型·llm·多模态·blip·多模态大模型·blip-2·q-former
一念之坤7 小时前
零基础学Python之数据结构 -- 01篇
数据结构·python
wxl7812278 小时前
如何使用本地大模型做数据分析
python·数据挖掘·数据分析·代码解释器