自然语言处理：Transformer、BERT

巨鹿..2025-03-09 7:04

BERT（Bidirectional Encoder Representations from Transformers）和Transformer是自然语言处理（NLP）领域中的两个重要概念。Transformer是一种新型的深度学习架构，而BERT是基于Transformer架构的具体模型之一，主要用于预训练语言表示。

Transformer架构

Transformer是由Vaswani等人在2017年的论文《Attention is All You Need》中提出的，旨在解决序列数据处理中的长依赖问题。与传统的循环神经网络（RNN）和卷积神经网络（CNN）不同，Transformer完全依赖于自注意力机制（self-attention mechanism），使得它可以并行处理序列数据，并且能够更好地捕捉长距离依赖关系。

Transformer的主要组成部分

  1. 输入嵌入层（Input Embedding Layer）：

    • 将输入的词索引转换为词向量表示。
    • 通常还会添加位置编码（Positional Encoding），以保留输入序列的位置信息。

  2. 编码器（Encoder）：

    • 包含多个相同的编码器层（通常为6到12层）。
    • 每个编码器层由两部分组成：多头自注意力机制（Multi-Head Self-Attention）和前馈神经网络（Feed-Forward Neural Network）。

  3. 解码器（Decoder）：

    • 包含多个相同的解码器层（同样通常为6到12层）。
    • 每个解码器层由三部分组成：多头自注意力机制、编码器-解码器注意力机制（Encoder-Decoder Attention）和前馈神经网络。

  4. 线性层和Softmax层：

    • 解码器输出通过一个线性层映射到词汇表大小的维度。
    • 然后通过Softmax层生成下一个词的概率分布。
Transformer的工作流程

  1. 输入嵌入和位置编码：

    • 输入序列经过嵌入层转换为词向量，并添加位置编码。

  2. 编码器层：

    • 多头自注意力机制计算每个词与其他词之间的相关性，并生成加权后的表示。
    • 前馈神经网络进一步处理这些表示，增加模型的非线性能力。

  3. 解码器层：

    • 解码器首先使用多头自注意力机制处理目标序列的嵌入。
    • 然后使用编码器-解码器注意力机制将目标序列与源序列对齐。
    • 最后通过前馈神经网络生成最终的表示。

  4. 生成输出：

    • 解码器的输出通过线性层和Softmax层生成下一个词的概率分布。

BERT模型

BERT（Bidirectional Encoder Representations from Transformers）是Google在2018年提出的一种预训练语言模型，它利用Transformer架构来生成上下文相关的词嵌入。BERT的主要特点是双向编码器，即同时考虑了单词左侧和右侧的上下文信息。

BERT的关键特性

  1. 双向编码器：

    • BERT使用了Transformer的编码器部分，并且采用了双向训练方式，即同时考虑了单词左侧和右侧的上下文信息。
    • 这与传统的单向语言模型（如LSTM或GRU）不同，后者只能从左到右或从右到左处理文本。

  2. 预训练任务：

    • Masked Language Model (MLM)：随机遮蔽输入序列中的一些词，并要求模型预测这些被遮蔽的词。这种方式使得模型必须理解整个句子的上下文。
    • Next Sentence Prediction (NSP)：给定两个句子A和B，要求模型判断B是否是A的下一句。这有助于模型理解句子间的关系。

  3. 微调（Fine-tuning）：

    • 预训练完成后，BERT可以在特定的任务上进行微调，例如文本分类、命名实体识别、问答系统等。
    • 微调时只需在BERT的基础上添加少量的任务特定层，并使用任务特定的数据集进行训练。
BERT的架构

BERT的架构基于Transformer的编码器部分，具体包括以下组件：

  1. 输入嵌入层：

    • 输入包括三个部分：词嵌入（Token Embeddings）、段嵌入（Segment Embeddings）和位置嵌入（Position Embeddings）。
    • 词嵌入表示输入序列中的每个词。
    • 段嵌入用于区分输入序列中的不同句子（BERT可以处理一对句子）。
    • 位置嵌入用于保留输入序列的位置信息。

  2. 编码器层：

    • BERT通常包含12层或24层编码器（分别对应BERT-base和BERT-large版本）。
    • 每个编码器层由多头自注意力机制和前馈神经网络组成。

  3. 输出层：

    • 编码器的最后一层输出是一个矩阵，其中每一行对应输入序列中每个词的上下文表示。
BERT的工作流程

  1. 输入嵌入：

    • 将输入序列中的每个词转换为词嵌入，并添加段嵌入和位置嵌入。

  2. 编码器层：

    • 输入嵌入依次通过多个编码器层，每层都包含多头自注意力机制和前馈神经网络。
    • 每个编码器层生成更丰富的上下文表示。

  3. 预训练任务：

    • 在预训练阶段，BERT使用MLM和NSP任务来训练模型。
    • MLM任务要求模型预测被遮蔽的词，NSP任务要求模型判断句子B是否是句子A的下一句。

  4. 微调：

    • 在微调阶段，BERT在特定任务上进行训练，通常只需要在最后一层添加任务特定的输出层，并使用任务特定的数据集进行训练。

示例代码：使用Hugging Face的Transformers库加载和使用BERT

Hugging Face的Transformers库提供了方便的接口来加载和使用BERT模型。以下是一个简单的示例，展示如何使用BERT进行文本分类。

安装依赖
bash 复制代码 
pip install transformers torch
加载预训练的BERT模型
python 复制代码 
from transformers import BertTokenizer, BertForSequenceClassification
import torch

# 加载预训练的BERT tokenizer和模型
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertForSequenceClassification.from_pretrained('bert-base-uncased', num_labels=2)

# 示例输入文本
text = "Hello, how are you?"

# 对输入文本进行编码
inputs = tokenizer(text, return_tensors='pt')

# 获取模型输出
with torch.no_grad():
    outputs = model(**inputs)

# 输出分类结果
logits = outputs.logits
predictions = torch.argmax(logits, dim=-1)
print("Predictions:", predictions.item())
训练BERT模型

下面是一个简单的例子，展示如何在PyTorch中使用BERT进行微调。

python 复制代码 
from transformers import BertTokenizer, BertForSequenceClassification, Trainer, TrainingArguments
from datasets import load_dataset

# 加载数据集
dataset = load_dataset('glue', 'mrpc')

# 加载预训练的BERT tokenizer和模型
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertForSequenceClassification.from_pretrained('bert-base-uncased', num_labels=2)

# 定义数据处理函数
def preprocess_function(examples):
    return tokenizer(examples['sentence1'], examples['sentence2'], truncation=True)

# 对数据集进行预处理
encoded_dataset = dataset.map(preprocess_function, batched=True)

# 设置训练参数
training_args = TrainingArguments(
    output_dir='./results',
    evaluation_strategy="epoch",
    learning_rate=2e-5,
    per_device_train_batch_size=8,
    per_device_eval_batch_size=8,
    num_train_epochs=3,
    weight_decay=0.01,
)

# 初始化Trainer
trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=encoded_dataset['train'],
    eval_dataset=encoded_dataset['validation'],
)

# 开始训练
trainer.train()

总结

  • Transformer 是一种新型的深度学习架构，利用自注意力机制处理序列数据，具有并行处理能力和捕捉长距离依赖的优势。
  • BERT 是基于Transformer架构的预训练语言模型，采用双向编码器和预训练任务（MLM和NSP），能够生成上下文相关的词嵌入，并在多种NLP任务上表现出色。

通过使用Hugging Face的Transformers库，可以方便地加载和使用预训练的BERT模型，并在特定任务上进行微调。

Transformer 和 BERT 的主要区别

虽然BERT是基于Transformer架构构建的，但它们在设计目标、应用场景和具体实现上有显著的区别。以下是对两者的主要区别的详细解析：

1. 架构与目的

  • Transformer：

    • 架构：Transformer是一种通用的深度学习架构，最初由Vaswani等人在2017年的论文《Attention is All You Need》中提出。它包括编码器（Encoder）和解码器（Decoder），主要用于处理序列数据，如机器翻译。
    • 目的：旨在解决长距离依赖问题，并提供一种可以并行化处理序列数据的方法。Transformer通过自注意力机制（Self-Attention Mechanism）捕捉输入序列中的全局依赖关系。

  • BERT：

    • 架构：BERT（Bidirectional Encoder Representations from Transformers）仅使用了Transformer的编码器部分，没有解码器。BERT模型通常包含多个相同的编码器层（通常是12层或24层）。
    • 目的：BERT是一个预训练语言模型，旨在生成上下文相关的词嵌入。它的主要特点是双向编码器，即同时考虑了单词左侧和右侧的上下文信息，从而更好地理解句子的整体含义。
2. 输入与输出

  • Transformer：

    • 输入：Transformer可以处理一对序列（例如源语言句子和目标语言句子），并通过位置编码保留序列的位置信息。
    • 输出：解码器生成一个输出序列，通常用于生成翻译结果或其他序列预测任务。

  • BERT：

    • 输入：BERT接收单个句子或一对句子作为输入。输入包括三个部分：词嵌入（Token Embeddings）、段嵌入（Segment Embeddings）和位置嵌入（Position Embeddings）。段嵌入用于区分输入序列中的不同句子。
    • 输出：编码器的最后一层输出是一个矩阵，其中每一行对应输入序列中每个词的上下文表示。这些表示可以用于各种下游任务，如文本分类、命名实体识别等。
3. 训练方式

  • Transformer：

    • 训练任务：Transformer通常用于有监督的任务，如机器翻译。训练过程中，模型通过最小化目标序列的真实值和预测值之间的损失来优化参数。

  • BERT：

    • 训练任务 ：BERT采用无监督的预训练方式，主要包括两个任务：
      • Masked Language Model (MLM)：随机遮蔽输入序列中的一些词，并要求模型预测这些被遮蔽的词。这种方式使得模型必须理解整个句子的上下文。
      • Next Sentence Prediction (NSP)：给定两个句子A和B，要求模型判断B是否是A的下一句。这有助于模型理解句子间的关系。
    • 微调：预训练完成后，BERT可以在特定的任务上进行微调，通常只需要在最后一层添加任务特定的输出层，并使用任务特定的数据集进行训练。
4. 应用场景

  • Transformer：

    • 应用场景：Transformer广泛应用于需要处理序列数据的任务，如机器翻译、文本摘要、问答系统等。由于其并行化的能力，Transformer在大规模数据集上的训练效率较高。

  • BERT：

    • 应用场景：BERT主要用于自然语言理解任务，如文本分类、情感分析、命名实体识别、问答系统等。BERT通过预训练生成强大的语言表示，然后在特定任务上进行微调，表现出色。
5. 性能与效果

  • Transformer：

    • 性能：Transformer在处理长序列时表现出色，因为它能够捕捉全局依赖关系。然而，传统的Transformer模型在处理某些复杂的语言理解任务时可能不如BERT有效。

  • BERT：

    • 性能：BERT在多种NLP基准测试中取得了优异的成绩，特别是在理解和生成上下文相关的词嵌入方面表现突出。BERT的双向编码器使其能够更好地捕捉句子的语义信息。

具体对比表

特性 Transformer BERT
架构 包含编码器和解码器 仅包含编码器
输入 可以处理一对序列（如源语言和目标语言） 单个句子或一对句子
输出 输出为序列（如翻译结果） 上下文相关的词嵌入矩阵
训练任务 有监督任务（如机器翻译） 无监督预训练（MLM和NSP）
应用场景 序列到序列任务（如机器翻译、文本摘要） 自然语言理解任务（如文本分类、问答系统）
优点 捕捉全局依赖关系，适用于长序列任务 双向编码器，上下文相关词嵌入，适合复杂语言理解任务
缺点 解码器部分限制了其在某些语言理解任务中的表现 计算资源需求高，预训练时间较长

示例代码对比

Transformer 示例（机器翻译）
python 复制代码 
from transformers import MarianMTModel, MarianTokenizer

# 加载预训练的MarianMT模型和tokenizer
model_name = 'Helsinki-NLP/opus-mt-en-de'
tokenizer = MarianTokenizer.from_pretrained(model_name)
model = MarianMTModel.from_pretrained(model_name)

# 示例输入文本
text = "Hello, how are you?"

# 对输入文本进行编码
inputs = tokenizer(text, return_tensors='pt')

# 获取模型输出
with torch.no_grad():
    outputs = model.generate(**inputs)

# 解码输出
translated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
print("Translated Text:", translated_text)
BERT 示例（文本分类）
python 复制代码 
from transformers import BertTokenizer, BertForSequenceClassification
import torch

# 加载预训练的BERT tokenizer和模型
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertForSequenceClassification.from_pretrained('bert-base-uncased', num_labels=2)

# 示例输入文本
text = "This movie was fantastic!"

# 对输入文本进行编码
inputs = tokenizer(text, return_tensors='pt')

# 获取模型输出
with torch.no_grad():
    outputs = model(**inputs)

# 输出分类结果
logits = outputs.logits
predictions = torch.argmax(logits, dim=-1)
print("Predictions:", predictions.item())

总结

  • Transformer 是一种通用的深度学习架构，适用于广泛的序列数据处理任务，特别是那些需要生成新序列的任务（如机器翻译、文本摘要）。
  • BERT 是基于Transformer编码器部分的预训练语言模型，专注于生成上下文相关的词嵌入，特别适用于自然语言理解任务。

两者的主要区别在于架构设计、训练方式和应用场景

相关推荐
西京刀客1 小时前
从零开始训练小型语言模型之minimind
人工智能·语言模型·自然语言处理
heine1622 小时前
nlp培训重点-5
人工智能·自然语言处理
Toky丶4 小时前
【文献阅读】Efficient Prompting Methods for Large Language Models: A Survey
人工智能·语言模型·自然语言处理
lczdyx7 小时前
Transformer 代码剖析16 - BLEU分数（pytorch实现）
人工智能·pytorch·python·深度学习·transformer
deephub11 小时前
Chain of Draft: 借鉴人类草稿思维让大型语言模型更快地思考
人工智能·语言模型·自然语言处理·思维链
碣石潇湘无限路12 小时前
【AI】基于扩散方案的大语言模型研究报告
人工智能·语言模型·自然语言处理
邪恶的贝利亚1 天前
视觉-语言模型-出发点CLIP--(挖掘源码-网络框架)
人工智能·语言模型·自然语言处理
一只小菜鸡1 天前
实现Django和Transformers 构建智能客服大模型（模拟订单系统）
后端·python·django·transformer
Zhouqi_Hua1 天前
LLM论文笔记 19: On Limitations of the Transformer Architecture
论文阅读·人工智能·笔记·深度学习·语言模型·自然语言处理·transformer
热门推荐
01DeepSeek各版本说明与优缺点分析02从零安装 LLaMA-Factory 微调 Qwen 大模型成功及所有的坑03如何在WPS和Word/Excel中直接使用DeepSeek功能04DeepSeek本地部署详细指南05DeepSeek R1本地化部署 Ollama + Chatbox 打造最强 AI 工具06本地部署DeepSeek教程（Mac版本）07Coze扣子平台完整体验和实践（附国内和国际版对比）08如何本地部署AI智能体平台，带你手搓一个AI Agent09保姆级教程：利用Ollama与Open-WebUI本地部署 DeedSeek-R1大模型10苍穹外卖面试总结