用通俗易懂的方式讲解:一文讲透主流大语言模型的技术原理细节

大家好,今天的文章分享三个方面的内容:

  • 1、比较 LLaMA、ChatGLM、Falcon 等大语言模型的细节:tokenizer、位置编码、Layer Normalization、激活函数等。

  • 2、大语言模型的分布式训练技术:数据并行、张量模型并行、流水线并行、3D 并行、零冗余优化器 ZeRO、CPU 卸载技术 ZeRo-offload、混合精度训练、激活重计算技术、Flash Attention、Paged Attention。

  • 3、大语言模型的参数高效微调技术:prompt tuning、prefix tuning、adapter、LLaMA-adapter、 LoRA。

本文内容较长,喜欢可以收藏、点赞、关注。

目录

      • 用通俗易懂的方式讲解系列
      • 技术交流
      • [0. 大纲](#0. 大纲)
      • [1. 大语言模型的细节](#1. 大语言模型的细节)
        • [1.0 transformer 与 LLM](#1.0 transformer 与 LLM)
        • [1.1 模型结构](#1.1 模型结构)
        • [1.2 训练目标](#1.2 训练目标)
        • [1.3 tokenizer](#1.3 tokenizer)
        • [1.4 位置编码](#1.4 位置编码)
        • [1.5 层归一化](#1.5 层归一化)
        • [1.6 激活函数](#1.6 激活函数)
        • [1.7 Multi-query Attention 与 Grouped-query Attention](#1.7 Multi-query Attention 与 Grouped-query Attention)
        • [1.8 并行 transformer block](#1.8 并行 transformer block)
        • [1.9 总结-训练稳定性](#1.9 总结-训练稳定性)
      • [2. LLM 的分布式预训练](#2. LLM 的分布式预训练)
        • [2.0 点对点通信与集体通信](#2.0 点对点通信与集体通信)
        • [2.1 数据并行](#2.1 数据并行)
        • [2.2 张量并行](#2.2 张量并行)
        • [2.3 流水线并行](#2.3 流水线并行)
        • [2.4 3D 并行](#2.4 3D 并行)
        • [2.5 混合精度训练](#2.5 混合精度训练)
        • [2.6 激活重计算](#2.6 激活重计算)
        • [2.7 ZeRO,零冗余优化器](#2.7 ZeRO,零冗余优化器)
        • [2.8 CPU-offload,ZeRO-offload](#2.8 CPU-offload,ZeRO-offload)
        • [2.9 Flash Attention](#2.9 Flash Attention)
        • [2.10 vLLM: Paged Attention](#2.10 vLLM: Paged Attention)
      • [3. LLM 的参数高效微调](#3. LLM 的参数高效微调)
        • [3.0 为什么进行参数高效微调?](#3.0 为什么进行参数高效微调?)
        • [3.1 prompt tuning](#3.1 prompt tuning)
        • [3.2 prefix tuning](#3.2 prefix tuning)
        • [3.3 adapter](#3.3 adapter)
        • [3.4 LLaMA adapter](#3.4 LLaMA adapter)
        • [3.5 LoRA](#3.5 LoRA)
        • [3.6 实验比较](#3.6 实验比较)

用通俗易懂的方式讲解系列

技术交流

技术要学会分享、交流,不建议闭门造车。一个人走的很快、一堆人可以走的更远。

建立了大模型技术交流群,大模型学习资料、数据代码、技术交流提升, 均可加知识星球交流群获取,群友已超过2000人,添加时切记的备注方式为:来源+兴趣方向,方便找到志同道合的朋友。

方式①、微信搜索公众号:机器学习社区 ,后台回复:技术交流

方式②、添加微信号:mlc2060,备注:技术交流

0. 大纲

1. 大语言模型的细节

1.0 transformer 与 LLM
1.1 模型结构
1.2 训练目标
1.3 tokenizer
1.4 位置编码
1.5 层归一化
1.6 激活函数
1.7 Multi-query Attention 与 Grouped-query Attention
1.8 并行 transformer block
1.9 总结-训练稳定性

2. LLM 的分布式预训练

2.0 点对点通信与集体通信
2.1 数据并行
2.2 张量并行
2.3 流水线并行
2.4 3D 并行
2.5 混合精度训练
2.6 激活重计算
2.7 ZeRO,零冗余优化器
2.8 CPU-offload,ZeRO-offload
2.9 Flash Attention
2.10 vLLM: Paged Attention

3. LLM 的参数高效微调

3.0 为什么进行参数高效微调?
3.1 prompt tuning
3.2 prefix tuning
3.3 adapter
3.4 LLaMA adapter
3.5 LoRA
3.6 实验比较

4. 参考文献

相关推荐
唐某人丶2 小时前
教你如何用 JS 实现 Agent 系统(2)—— 开发 ReAct 版本的“深度搜索”
前端·人工智能·aigc
FIT2CLOUD飞致云2 小时前
九月月报丨MaxKB在不同规模医疗机构的应用进展汇报
人工智能·开源
阿里云大数据AI技术2 小时前
【新模型速递】PAI-Model Gallery云上一键部署Qwen3-Next系列模型
人工智能
袁庭新3 小时前
全球首位AI机器人部长,背负反腐重任
人工智能·aigc
机器之心3 小时前
谁说Scaling Law到头了?新研究:每一步的微小提升会带来指数级增长
人工智能·openai
算家计算3 小时前
AI配音革命!B站最新开源IndexTTS2本地部署教程:精准对口型,情感随心换
人工智能·开源·aigc
量子位3 小时前
马斯克周末血裁xAI 500人
人工智能·ai编程
算家计算3 小时前
OpenAI最强编程模型GPT-5-Codex发布!可独立编程7小时,编程效率提升10倍
人工智能·ai编程·资讯
聚客AI5 小时前
🌟大模型为什么产生幻觉?预训练到推理的漏洞全揭秘
人工智能·llm·掘金·日新计划
Juchecar5 小时前
一文讲清 nn.Sequential 等容器类
人工智能