大语言模型-GLM-General Language Model Pretraining

一、背景信息:

GLM是2020-2021年由智谱AI研究并发布的预训练语言模型。

GLM是一种基于自回归空白填充的通用预训练语言模型。

GLM 通过添加二维位置编码允许任意顺序预测空白区域,改进了空白填充预训练,在NLU任务上超越了 BERT 和 T5。

GLM的网络架构使用的是多层Transformer Decoder改的结构。

二、整体结构:

  • Pre-Norm,前归一化:将Layer Normalization步骤放置在各模块之前进行。
  • DeepNorm, 归一化函数的调整:GLM的Layer Normalization使用了DeepNorm方式。
  • RoPE, 位置编码的调整: GLM不再位置向量合成输入向量,而是在每次Attention时进行RoPE的位置向量编码。
  • GLU, FFN层激活函数调整:FFN使用具有GeLU激活的GLU作为激活函数。

三、GLM训练

GLM是一种基于自回归空白填充的通用预训练语言模型。

(1)自回归空白填充

自回归空白填充目标
  1. 给定输入 X = [x1, x2, x3, x3, x5, x6]
  2. 将选择掩码的片段 [x3], [x5, x6] 进行MASK,得到 Part A,表示损坏后的文本( 见图中的(a) )
  3. 将选择掩码的片段抽取出,并且随机排序 / shuffle,得到 Part B,表示被掩盖、需要填充的文本( 见图中的(b) )
  4. 将 PartA 与 PartB 拼接成一个sequence,Part A部分采用双向注意力,PartB部分采样自回归预测。( 见图中的© )

从λ = 3的泊松分布中随机抽取MASK的片段长度。反复采样新的跨度片段长度,直到至少15%的原始令牌被屏蔽。根据经验,我们发现15%的比例对于下游NLU任务的良好表现至关重要

attention mask的设计
  • Part A作为初始输入,其tokens之间应该互相可见,但是不能见到被MASK的(下文即Part B中的tokens)
  • PartB中的tokens肯定是要能看见Part A的tokens的(文本生成需要能看到上文)
  • PartB中应该能见到历史生成的token,但不可见尚未生成的token。
  • 这里其实是组合了双向的attention(Part A)和causal attention(Part B)。

(2)多任务预训练

对词汇级别的短文本区域进行Mask,适合于 NLU 任务; 要达到NLU任务目标的同时具备一定的长文本生成能力,设定了下面两个任务训练目标,来同时优化文本任务与空白填充任务。

• 文档级别。随机抽样一个片段,其长度从原始长度的50%到100%的均匀分布中抽样。该目标旨在进行长文本生成。

• 句子级别。限制掩蔽片段必须是完整的句子。随机抽样多个片段(句子)以覆盖15%的词汇。此目标旨在进行seq2seq任务,其预测通常为完整的句子或段落。

这两个新目标与原始目标相同。唯一的区别在于遮掩片段的数量和长度。

Reference

1、GLM: General Language Model Pretraining with Autoregressive Blank Infilling

相关推荐
AI小书房8 分钟前
【人工智能通识专栏】第二十八讲:IDE集成Deepseek
ide·人工智能
工藤学编程41 分钟前
零基础学AI大模型之LangChain-PromptTemplate
人工智能·langchain
金井PRATHAMA1 小时前
一阶逻辑及其变体在自然语言深层语义分析中的作用、挑战与未来启示
人工智能·自然语言处理·知识图谱
星哥说事1 小时前
AI编程助手如何让开发效率提升300%?CodeBuddy CLI实战案例解析
人工智能
m0_743106461 小时前
NeRF+3DGS——提升渲染质量与压缩模型参数
论文阅读·人工智能·计算机视觉·3d·几何学
倔强青铜三1 小时前
苦练 Python 第 57 天:用 pathlib 模块告别繁琐的文件操作,开启优雅编程之旅!
人工智能·python·面试
火山引擎边缘云1 小时前
字节跳动多媒体实验室联合ISCAS举办第五届神经网络视频编码竞赛
人工智能·深度学习·神经网络
星期天要睡觉1 小时前
计算机视觉(opencv)——基于 dlib 轮廓绘制
人工智能·opencv·计算机视觉
whltaoin2 小时前
AI 超级智能体全栈项目阶段二:Prompt 优化技巧与学术分析 AI 应用开发实现上下文联系多轮对话
人工智能·prompt
扫地的小何尚2 小时前
CUDA 13.0深度解析:统一ARM生态、UVM增强与GPU共享的革命
arm开发·人工智能·自然语言处理·gpu·nvidia·jetson·nvidia thro