大语言模型-GLM-General Language Model Pretraining

一、背景信息:

GLM是2020-2021年由智谱AI研究并发布的预训练语言模型。

GLM是一种基于自回归空白填充的通用预训练语言模型。

GLM 通过添加二维位置编码允许任意顺序预测空白区域,改进了空白填充预训练,在NLU任务上超越了 BERT 和 T5。

GLM的网络架构使用的是多层Transformer Decoder改的结构。

二、整体结构:

  • Pre-Norm,前归一化:将Layer Normalization步骤放置在各模块之前进行。
  • DeepNorm, 归一化函数的调整:GLM的Layer Normalization使用了DeepNorm方式。
  • RoPE, 位置编码的调整: GLM不再位置向量合成输入向量,而是在每次Attention时进行RoPE的位置向量编码。
  • GLU, FFN层激活函数调整:FFN使用具有GeLU激活的GLU作为激活函数。

三、GLM训练

GLM是一种基于自回归空白填充的通用预训练语言模型。

(1)自回归空白填充

自回归空白填充目标
  1. 给定输入 X = [x1, x2, x3, x3, x5, x6]
  2. 将选择掩码的片段 [x3], [x5, x6] 进行MASK,得到 Part A,表示损坏后的文本( 见图中的(a) )
  3. 将选择掩码的片段抽取出,并且随机排序 / shuffle,得到 Part B,表示被掩盖、需要填充的文本( 见图中的(b) )
  4. 将 PartA 与 PartB 拼接成一个sequence,Part A部分采用双向注意力,PartB部分采样自回归预测。( 见图中的© )

从λ = 3的泊松分布中随机抽取MASK的片段长度。反复采样新的跨度片段长度,直到至少15%的原始令牌被屏蔽。根据经验,我们发现15%的比例对于下游NLU任务的良好表现至关重要

attention mask的设计
  • Part A作为初始输入,其tokens之间应该互相可见,但是不能见到被MASK的(下文即Part B中的tokens)
  • PartB中的tokens肯定是要能看见Part A的tokens的(文本生成需要能看到上文)
  • PartB中应该能见到历史生成的token,但不可见尚未生成的token。
  • 这里其实是组合了双向的attention(Part A)和causal attention(Part B)。

(2)多任务预训练

对词汇级别的短文本区域进行Mask,适合于 NLU 任务; 要达到NLU任务目标的同时具备一定的长文本生成能力,设定了下面两个任务训练目标,来同时优化文本任务与空白填充任务。

• 文档级别。随机抽样一个片段,其长度从原始长度的50%到100%的均匀分布中抽样。该目标旨在进行长文本生成。

• 句子级别。限制掩蔽片段必须是完整的句子。随机抽样多个片段(句子)以覆盖15%的词汇。此目标旨在进行seq2seq任务,其预测通常为完整的句子或段落。

这两个新目标与原始目标相同。唯一的区别在于遮掩片段的数量和长度。

Reference

1、GLM: General Language Model Pretraining with Autoregressive Blank Infilling

相关推荐
小王爱学人工智能6 分钟前
OpenCV的阈值处理
人工智能·opencv·计算机视觉
新智元29 分钟前
刚刚,光刻机巨头 ASML 杀入 AI!豪掷 15 亿押注「欧版 OpenAI」,成最大股东
人工智能·openai
机器之心38 分钟前
全球图生视频榜单第一,爱诗科技PixVerse V5如何改变一亿用户的视频创作
人工智能·openai
新智元39 分钟前
2025年了,AI还看不懂时钟!90%人都能答对,顶尖AI全军覆没
人工智能·openai
湫兮之风43 分钟前
OpenCV: Mat存储方式全解析-单通道、多通道内存布局详解
人工智能·opencv·计算机视觉
机器之心1 小时前
Claude不让我们用!国产平替能顶上吗?
人工智能·openai
程序员柳1 小时前
基于YOLOv8的车辆轨迹识别与目标检测研究分析软件源代码+详细文档
人工智能·yolo·目标检测
算家计算1 小时前
一站式高质量数字人动画框架——EchoMimic-V3本地部署教程: 13 亿参数实现统一多模态、多任务人体动画生成
人工智能·开源
API流转日记1 小时前
Gemini-2.5-Flash-Image-Preview 与 GPT-4o 图像生成能力技术差异解析
人工智能·gpt·ai·chatgpt·ai作画·googlecloud
martinzh1 小时前
切块、清洗、烹饪:RAG知识库构建的三步曲
人工智能