用通俗易懂的方式讲解:一文讲透主流大语言模型的技术原理细节

大家好,今天的文章分享三个方面的内容:

  • 1、比较 LLaMA、ChatGLM、Falcon 等大语言模型的细节:tokenizer、位置编码、Layer Normalization、激活函数等。

  • 2、大语言模型的分布式训练技术:数据并行、张量模型并行、流水线并行、3D 并行、零冗余优化器 ZeRO、CPU 卸载技术 ZeRo-offload、混合精度训练、激活重计算技术、Flash Attention、Paged Attention。

  • 3、大语言模型的参数高效微调技术:prompt tuning、prefix tuning、adapter、LLaMA-adapter、 LoRA。

本文内容较长,喜欢可以收藏、点赞、关注。

目录

      • 用通俗易懂的方式讲解系列
      • 技术交流
      • [0. 大纲](#0. 大纲)
      • [1. 大语言模型的细节](#1. 大语言模型的细节)
        • [1.0 transformer 与 LLM](#1.0 transformer 与 LLM)
        • [1.1 模型结构](#1.1 模型结构)
        • [1.2 训练目标](#1.2 训练目标)
        • [1.3 tokenizer](#1.3 tokenizer)
        • [1.4 位置编码](#1.4 位置编码)
        • [1.5 层归一化](#1.5 层归一化)
        • [1.6 激活函数](#1.6 激活函数)
        • [1.7 Multi-query Attention 与 Grouped-query Attention](#1.7 Multi-query Attention 与 Grouped-query Attention)
        • [1.8 并行 transformer block](#1.8 并行 transformer block)
        • [1.9 总结-训练稳定性](#1.9 总结-训练稳定性)
      • [2. LLM 的分布式预训练](#2. LLM 的分布式预训练)
        • [2.0 点对点通信与集体通信](#2.0 点对点通信与集体通信)
        • [2.1 数据并行](#2.1 数据并行)
        • [2.2 张量并行](#2.2 张量并行)
        • [2.3 流水线并行](#2.3 流水线并行)
        • [2.4 3D 并行](#2.4 3D 并行)
        • [2.5 混合精度训练](#2.5 混合精度训练)
        • [2.6 激活重计算](#2.6 激活重计算)
        • [2.7 ZeRO,零冗余优化器](#2.7 ZeRO,零冗余优化器)
        • [2.8 CPU-offload,ZeRO-offload](#2.8 CPU-offload,ZeRO-offload)
        • [2.9 Flash Attention](#2.9 Flash Attention)
        • [2.10 vLLM: Paged Attention](#2.10 vLLM: Paged Attention)
      • [3. LLM 的参数高效微调](#3. LLM 的参数高效微调)
        • [3.0 为什么进行参数高效微调?](#3.0 为什么进行参数高效微调?)
        • [3.1 prompt tuning](#3.1 prompt tuning)
        • [3.2 prefix tuning](#3.2 prefix tuning)
        • [3.3 adapter](#3.3 adapter)
        • [3.4 LLaMA adapter](#3.4 LLaMA adapter)
        • [3.5 LoRA](#3.5 LoRA)
        • [3.6 实验比较](#3.6 实验比较)

用通俗易懂的方式讲解系列

技术交流

技术要学会分享、交流,不建议闭门造车。一个人走的很快、一堆人可以走的更远。

建立了大模型技术交流群,大模型学习资料、数据代码、技术交流提升, 均可加知识星球交流群获取,群友已超过2000人,添加时切记的备注方式为:来源+兴趣方向,方便找到志同道合的朋友。

方式①、微信搜索公众号:机器学习社区 ,后台回复:技术交流

方式②、添加微信号:mlc2060,备注:技术交流

0. 大纲

1. 大语言模型的细节

1.0 transformer 与 LLM
1.1 模型结构
1.2 训练目标
1.3 tokenizer
1.4 位置编码
1.5 层归一化
1.6 激活函数
1.7 Multi-query Attention 与 Grouped-query Attention
1.8 并行 transformer block
1.9 总结-训练稳定性

2. LLM 的分布式预训练

2.0 点对点通信与集体通信
2.1 数据并行
2.2 张量并行
2.3 流水线并行
2.4 3D 并行
2.5 混合精度训练
2.6 激活重计算
2.7 ZeRO,零冗余优化器
2.8 CPU-offload,ZeRO-offload
2.9 Flash Attention
2.10 vLLM: Paged Attention

3. LLM 的参数高效微调

3.0 为什么进行参数高效微调?
3.1 prompt tuning
3.2 prefix tuning
3.3 adapter
3.4 LLaMA adapter
3.5 LoRA
3.6 实验比较

4. 参考文献

相关推荐
小雷FansUnion1 小时前
深入理解MCP架构:智能服务编排、上下文管理与动态路由实战
人工智能·架构·大模型·mcp
资讯分享周1 小时前
扣子空间PPT生产力升级:AI智能生成与多模态创作新时代
人工智能·powerpoint
叶子爱分享2 小时前
计算机视觉与图像处理的关系
图像处理·人工智能·计算机视觉
鱼摆摆拜拜2 小时前
第 3 章:神经网络如何学习
人工智能·神经网络·学习
一只鹿鹿鹿2 小时前
信息化项目验收,软件工程评审和检查表单
大数据·人工智能·后端·智慧城市·软件工程
张较瘦_2 小时前
[论文阅读] 人工智能 | 深度学习系统崩溃恢复新方案:DaiFu框架的原位修复技术
论文阅读·人工智能·深度学习
cver1232 小时前
野生动物检测数据集介绍-5,138张图片 野生动物保护监测 智能狩猎相机系统 生态研究与调查
人工智能·pytorch·深度学习·目标检测·计算机视觉·目标跟踪
学技术的大胜嗷2 小时前
离线迁移 Conda 环境到 Windows 服务器:用 conda-pack 摆脱硬路径限制
人工智能·深度学习·yolo·目标检测·机器学习
还有糕手2 小时前
西南交通大学【机器学习实验10】
人工智能·机器学习
江瀚视野3 小时前
百度文心大模型4.5系列正式开源,开源会给百度带来什么?
人工智能