nlp第九节——文本生成任务

一、seq2seq任务

特点:输入输出均为不定长的序列
自回归语言模型:

由前面一个字预测下一个字的任务


encoder-decoder结构:

Encoder-Decoder结构是一种基于神经网络完成seq2seq任务的常用方案

Encoder将输入转化为向量或矩阵,其中包含了输入中的信息

Decoder利用这些信息输出目标值

在这里,encoder的output和decoder每一个时间层的output拼接,用一个线性层和softmax激活函数计算权重(attention机制),再把权重张量和encoder的output点乘,把这个结果和decoder这个时间层的output拼接,再过一层gru和线性层得到下一个字的概率分布。

attention思想:

从decoder的query和encoder的key结合计算出权重(判断文本的重点),再作用在value上

soft attention:

hard attention:

teacher forcing:在预测下一个字时用输入decoder的正确的字来预测,这样做的问题是在预测时如果一个字错,后面会出现连环反应(就像在平时老师经常把正确答案给学生,在考试时学生答题效果不好);如果用非teacher forcing,会出现在训练模型时,一个字错导致后面出现连环反应。

二、transformer

在encoder-decoder交互attention阶段,q矩阵由decoder提供,与encoder的output里的key计算出attention矩阵,然后作用在encoder提供的value矩阵上,再过残差机制曾和LN层(使模型更稳定,防止梯度爆炸和梯度消失)
mask attention:

将输入decoder的文本做一次attention,对输出的矩阵进行mask(因为预测的过程中预测下一个字的过程中我们看不到下一个字,所以前一个字对下一个字没有attention)

通过mask控制训练方式:

三、采样策略

beamsearch在前文已经介绍过

temperature sample是基于对softmax的改进采样:

当T越大时,不同样本间的概率差值会减小

top-K采样:从概率最高的K个样本中采样

top-P采样:采样时,先按概率从高到低排序,从累加概率不超过P的范围内选择

相关推荐
eqwaak0几秒前
Matplotlib高阶技术全景解析(续):动态交互、三维可视化与性能优化
开发语言·python·语言模型·性能优化·交互·matplotlib
蜗牛沐雨7 分钟前
Pandas 数据导出:如何将 DataFrame 追加到 Excel 的不同工作表
python·excel·pandas
像风一样_7 分钟前
机器学习-入门-线性模型(2)
人工智能·机器学习
Java中文社群23 分钟前
国内首个「混合推理模型」Qwen3深夜开源,盘点它的N种对接方式!
java·人工智能·后端
啊阿狸不会拉杆25 分钟前
人工智能数学基础(二):初等数学
人工智能·python·算法
AI视觉网奇36 分钟前
python 求内轮廓
python·opencv·计算机视觉
lczdyx37 分钟前
从Flask到智能体:装饰器模式在AI系统中的架构迁移实践
人工智能·python·语言模型·架构·flask·装饰器模式
老胖闲聊37 分钟前
Flask 请求数据获取方法详解
后端·python·flask
Acrelgq2343 分钟前
政策支持与市场驱动:充电桩可持续发展的双轮引擎
人工智能
软件测试小仙女1 小时前
AI测试工具Testim——告别自动化测试维护难题
自动化测试·软件测试·人工智能·测试工具·单元测试·集成测试·压力测试