【Datawhale组队学习202601】Base-NLP task02 预训练语言模型

系列文章目录


文章目录

  • 系列文章目录
  • 前言
  • 一、预训练模型
  • 二、BERT
    • [2.1 介绍](#2.1 介绍)
    • [2.2 与 RNN 、Bi-LSTM 的不同](#2.2 与 RNN 、Bi-LSTM 的不同)
    • [2.3 BERT 的模型规模](#2.3 BERT 的模型规模)
    • [2.4 BERT 的输入表示](#2.4 BERT 的输入表示)
    • [2.3 BERT 的预训练任务](#2.3 BERT 的预训练任务)
  • 总结

前言


一、预训练模型

预训练,本质上是一种大规模的自监督学习过程。

  • 预训练模型有着一套 "预训练 + 微调" 的训练范式,属于迁移学习的一种实现。它能够从海量数据中学到的通用语言知识,迁移到数据量有限的特定任务中。

  • 在前面的章节中探讨了 Transformer 架构,它的结构是由一个编码器和一个解码器组成,而这两部分内部又分别由 N N N 个相同的层堆叠而成。

  • Transformer 的提出催生了许多强大的预训练模型。有趣的是,这些后续模型往往只采用了 Transformer 架构的一部分。

  • 典型的预训练模型有:

    • BERT :只采用编码器结构。
    • T5 : 编码器-解码器架构。
    • GPT :只采用解码器结构。

二、BERT

  • 在 ·BERT· 出现之前,像 ·Word2Vec· 这样的模型能够为词语生成一个固定的向量表示(静态词向量),但无法解决一词多义的问题。
  • 例如,"破防" 在"我出了一件破防装备"和"NLP 算法给我学破防了"中的含义完全不同,但在 Word2Vec 中它们的向量是相同的。

2.1 介绍

  • BERT(Bidirectional Encoder Representations from Transformers) , 在语言理解 的深层语义方面取得了突破性进展。其核心优势在于其 双向性 Bidirectional 。通过 Transformer 编码器中自注意力机制能够同时关注上下文的特性。
  • BERT 的设计目标是生成动态的、与上下文相关的词向量。它不仅仅是一个词向量生成工具,更是一个强大的预训练语言模型。

2.2 与 RNN 、Bi-LSTM 的不同

  • Bi-LSTM 的"双向"本质上是两个独立的单向 RNN(一个正向,一个反向)的浅层拼接。在计算过程中,正向 RNN 并不知道未来的信息,反向 RNN 也不知道过去的信息。
  • BERT 基于 Transformer 的自注意力机制,实现了真正的**"深度双向"**。

2.3 BERT 的模型规模

  • BERT 提供了几种不同规模的预训练模型,以适应不同的计算资源和性能需求。
模型 层数 (L) 隐藏层大小 (H) 注意力头数 (A) 总参数量
BERT-Base 12 768 12 ~1.1 亿
BERT-Large 24 1024 16 ~3.4 亿

2.4 BERT 的输入表示

  • 为了让模型能够处理各种复杂的输入,BERT 的输入表示由三个部分的嵌入向量逐元素相加而成:

I n p u t e m b e d d i n g = T o k e n e m b e d d i n g + P o s i t i o n e m b e d d i n g + S e g m e n t e m b e d d i n g Input_{embedding} = Token_{embedding} + Position_{embedding} + Segment_{embedding} Inputembedding=Tokenembedding+Positionembedding+Segmentembedding

2.3 BERT 的预训练任务

为了让 BERT 真正理解语言,研究人员在其训练过程中引入了两项全新的预训练任务(如图 5-3 所示),这也是它成功的关键。



总结

提示:这里对文章进行总结:

例如:以上就是今天要讲的内容,本文仅仅简单介绍了pandas的使用,而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。

相关推荐
重生之我是萧炎9 小时前
PR安装教程,Adobe Premiere Pro安装教程(含安装包),仅供学习使用
学习·adobe
蒸蒸yyyyzwd9 小时前
深搜广搜学习笔记
笔记·学习
叼烟扛炮10 小时前
[LangChain] 学习笔记(13):并发不是越大越好——batch / gather / 信号量 / 配额治理
笔记·学习·langchain
渣渣盟11 小时前
狂命爆肝99天,共52K字的JAVA学习笔记奉上,JAVA从入门到精通一文搞定,一文在手JAVA无忧
java·笔记·学习
叼烟扛炮1 天前
[LangChain] 学习笔记(09):工具(Tool)定义与调用闭环 · 理论+实战完整版
笔记·学习·langchain
个 人 练 习 生1 天前
C++:从零基础到深入了解vector的使用
开发语言·c++·经验分享·学习·程序人生·stl
Rabitebla1 天前
【Linux操作系统】 文件篇(一):文件描述符与 Linux 文件管理机制
linux·网络·c++·笔记·学习
旖旎夜光1 天前
【C++ 基础入门】智能指针:RAII、unique_ptr 与 shared_ptr 循环引用
c++·笔记·学习·智能指针
zdr尽职尽责1 天前
终端工具凭空消失:Codex + GPT-6 的一次完整排障复盘
数据库·gpt·学习·ai
蒸蒸yyyyzwd1 天前
计算机网络后端面试错题
笔记·学习