2024最新版,人大赵鑫老师《大语言模型》新书pdf分享

本书主要面向希望系统学习大语言模型技术的读者,将重点突出核心概念与 算法,并且配以示例与代码(伪代码)帮助读者理解特定算法的实现逻辑。由于大语言模型技术的快速更迭,本书无法覆盖所有相关内容,旨在梳理最具代表性的基础知识内容,帮助读者更好地了解大语言模型技术的核心知识点,能够快速上手相关的科研与工程项目。为了配合本书的阅读与使用,我们创建了一个 GitHub项目网站,该网站收集了关于大语言模型的相关资源。

本书共设置了五个主要部分,分别是背景与基础知识部分、预训练部分、微调与对齐部分、大模型使用部分以及评测与应用部分,按照如下的内容组织进行设置:

• 背景与基础知识部分. 第 2 章将首先介绍大语言模型的构建过程,随后介绍大语言模型相关的背景知识以及重要概念,包括涌现能力、扩展定律以及二者之间的联系与区别;进一步介绍 GPT 系列模型的发展历程以及各个阶段的重要技术创新,从而能够更好地了解大语言模型的技术升级历史。第 3 章将介绍目前大语言模型相关的资源信息,包括公开可用的模型检查点与 API 、数据集合以及代码工具库,为读者梳理与汇总相关资源。

131.5 本书的内容组织

• 预训练部分. 第 4 章将主要介绍预训练数据的准备工作,主要包括数据的收集、清洗以及词元化方法,随后将介绍数据课程的设计方法。第 5 章将主要介绍大语言模型的架构,主要包括 Transformer 模型、各种组件的详细配置、长文本建模以及一些新型的模型架构。第 6 章将主要介绍预训练过程所涉及到的预训练任务、优化参数设置、可扩展的训练技术以及参数量计算与效率分析方法,并通过相关实战代码进行讲解。

• 微调与对齐部分. 第 7 章将主要介绍指令微调所涉及的数据构建、优化策略;进一步将介绍典型的轻量化微调技术,减少模型训练的开销;并且通过实践示例介绍指令微调的具体流程。第 8 章将主要介绍大模型的人类对齐技术,将以RLHF 为主要方法进行详细介绍,并且进一步介绍非强化学习的对齐方法,最后探讨 SFT 与 RLHF 之间的关系。

• 大模型使用部分. 第 9 章将主要介绍大模型的解码与部署方法,包括解码策略、解码加速算法、低资源部署策略以及其他模型压缩方法。第 10 章将主要介绍面向大语言模型的提示学习技术,包括基础的提示学习设计方法、上下文学习方法以及思维链方法等。第 11 章将主要介绍面向复杂任务的规划技术,探索如何将复杂任务进行有效分解,并通过回溯、反思等关键技术形成有效的解决方案;进一步,将介绍如何构建基于大语言模型的智能体以及多智能体系统。

• 评测与应用部分. 第 12 章将主要介绍面向大语言模型性能的评测方法,针对不同的能力维度介绍相关的评测集合、评测指标以及评测方法,并且指出大语言模型目前存在的问题。第 13 章将主要介绍大语言模型的应用情况,具体将分别从代表性的研究领域以及应用领域两个维度展开讨论,我们将以代表性工作为驱动,使得读者能够了解如何将大语言模型进行领域特化以及任务特化。

最后,第 14 章将对于全文的内容进行总结,进一步梳理目前每个部分存在的技术挑战以及研究趋势。

目录

本书内容截图

本书pdf免费下载地址

相关推荐
瓜牛_gn1 小时前
mysql特性
数据库·mysql
深度学习实战训练营1 小时前
基于CNN-RNN的影像报告生成
人工智能·深度学习
奶糖趣多多2 小时前
Redis知识点
数据库·redis·缓存
昨日之日20063 小时前
Moonshine - 新型开源ASR(语音识别)模型,体积小,速度快,比OpenAI Whisper快五倍 本地一键整合包下载
人工智能·whisper·语音识别
浮生如梦_3 小时前
Halcon基于laws纹理特征的SVM分类
图像处理·人工智能·算法·支持向量机·计算机视觉·分类·视觉检测
CoderIsArt3 小时前
Redis的三种模式:主从模式,哨兵与集群模式
数据库·redis·缓存
深度学习lover3 小时前
<项目代码>YOLOv8 苹果腐烂识别<目标检测>
人工智能·python·yolo·目标检测·计算机视觉·苹果腐烂识别
热爱跑步的恒川4 小时前
【论文复现】基于图卷积网络的轻量化推荐模型
网络·人工智能·开源·aigc·ai编程
师太,答应老衲吧5 小时前
SQL实战训练之,力扣:2020. 无流量的帐户数(递归)
数据库·sql·leetcode
阡之尘埃6 小时前
Python数据分析案例61——信贷风控评分卡模型(A卡)(scorecardpy 全面解析)
人工智能·python·机器学习·数据分析·智能风控·信贷风控