nlp第九节——文本生成任务

一、seq2seq任务

特点:输入输出均为不定长的序列
自回归语言模型:

由前面一个字预测下一个字的任务


encoder-decoder结构:

Encoder-Decoder结构是一种基于神经网络完成seq2seq任务的常用方案

Encoder将输入转化为向量或矩阵,其中包含了输入中的信息

Decoder利用这些信息输出目标值

在这里,encoder的output和decoder每一个时间层的output拼接,用一个线性层和softmax激活函数计算权重(attention机制),再把权重张量和encoder的output点乘,把这个结果和decoder这个时间层的output拼接,再过一层gru和线性层得到下一个字的概率分布。

attention思想:

从decoder的query和encoder的key结合计算出权重(判断文本的重点),再作用在value上

soft attention:

hard attention:

teacher forcing:在预测下一个字时用输入decoder的正确的字来预测,这样做的问题是在预测时如果一个字错,后面会出现连环反应(就像在平时老师经常把正确答案给学生,在考试时学生答题效果不好);如果用非teacher forcing,会出现在训练模型时,一个字错导致后面出现连环反应。

二、transformer

在encoder-decoder交互attention阶段,q矩阵由decoder提供,与encoder的output里的key计算出attention矩阵,然后作用在encoder提供的value矩阵上,再过残差机制曾和LN层(使模型更稳定,防止梯度爆炸和梯度消失)
mask attention:

将输入decoder的文本做一次attention,对输出的矩阵进行mask(因为预测的过程中预测下一个字的过程中我们看不到下一个字,所以前一个字对下一个字没有attention)

通过mask控制训练方式:

三、采样策略

beamsearch在前文已经介绍过

temperature sample是基于对softmax的改进采样:

当T越大时,不同样本间的概率差值会减小

top-K采样:从概率最高的K个样本中采样

top-P采样:采样时,先按概率从高到低排序,从累加概率不超过P的范围内选择

相关推荐
凯强同学1 分钟前
第十四届蓝桥杯大赛软件赛省赛Python 研究生组:4.互质数的个数
python·职场和发展·蓝桥杯
求知呀1 小时前
最直观的 Cursor 使用教程
前端·人工智能·llm
utmhikari1 小时前
【日常随笔】万字长文,如何用pyside6开发一个python桌面工具
前端·python·pyqt
飞哥数智坊1 小时前
从“工具人”到“超级个体”:程序员如何在AI协同下实现能力跃迁
人工智能
chenqi2 小时前
WebGPU和WebLLM:在浏览器中解锁端侧大模型的未来
前端·人工智能
罗西的思考2 小时前
[2W字长文] 探秘Transformer系列之(23)--- 长度外推
人工智能·算法
小杨4044 小时前
python入门系列十四(多进程)
人工智能·python·pycharm
阿坡RPA18 小时前
手搓MCP客户端&服务端:从零到实战极速了解MCP是什么?
人工智能·aigc
用户277844910499319 小时前
借助DeepSeek智能生成测试用例:从提示词到Excel表格的全流程实践
人工智能·python
机器之心19 小时前
刚刚,DeepSeek公布推理时Scaling新论文,R2要来了?
人工智能