在 Transformer 之前生成文本 Text generation before transformers

1. 在 Transformer 之前生成文本

重要的是要注意,生成算法并不是新的。先前的语言模型使用了一个叫做循环神经网络或RNN的架构。尽管RNN在其时代很强大,但由于需要大量的计算和内存来很好

地执行生成任务,所以它们的能力受到了限制。让我们看一个RNN执行简单的下一个词预测生成任务的例子。

模型只看到了一个之前的词,预测不可能很好。当您扩展RNN实现以能够看到文本中的更多前面的词时,您必须大幅度地扩展模型使用的资源。至于预测,嗯,模型在这里失败了。

即使您扩展了模型,它仍然没有看到足够的输入来做出好的预测。为了成功预测下一个词,模型需要看到的不仅仅是前几个词。模型需要理解整个句子甚至整个文档。这里的问题是语言是复杂的。

在许多语言中,一个词可以有多个含义。这些是同音词。在这种情况下,只有在句子的上下文中我们才能看到是什么类型的银行。

句子结构中的词可以是模糊的,或者我们可能称之为句法模糊性。以这句话为例:"老师用书教学生。"老师是用书教学还是学生有书,还是两者都有?如果有时我们自己都不能理解人类语言,算法如何能理解呢?

好吧,在2017年,Google和多伦多大学发布了这篇论文《Attention is All You Need》后,一切都改变了。变压器架构已经到来。

这种新颖的方法解锁了我们今天看到的生成AI的进步。它可以有效地扩展到使用多核GPU,它可以并行处理输入数据,使用更大的训练数据集,并且关键是,它能够学会关注它正在处理的词的含义。而Attention is All You Need。这就是标题。

参考

https://www.coursera.org/learn/generative-ai-with-llms/lecture/vSAdg/text-generation-before-transformers

相关推荐
码字的字节6 分钟前
深入理解Transformer架构:从理论到实践
深度学习·架构·transformer
TaoSense14 分钟前
AI芯片产品经理:算力革命的架构师
人工智能·产品经理
Brian Xia22 分钟前
Word2Vec模型详解:CBOW与Skip-gram
人工智能·自然语言处理·word2vec
ai小鬼头25 分钟前
AIStarter 3.2.0更新!一键离线导入+高速下载,熊哥教你轻松玩转AI工具
人工智能·程序员·github
若兰幽竹36 分钟前
基于DeepSeek构建的openGauss AI智能优化助手:数据库性能提升新利器
人工智能·大模型·opengauss·deepseek
后端小肥肠42 分钟前
揭秘10W+AI动物运动会视频,我用Coze一键搞定全流程(附保姆级拆解)
人工智能·aigc·coze
李元豪2 小时前
【知足常乐ai笔记】机器人强化学习
人工智能·笔记·机器人
沫儿笙2 小时前
焊接机器人智能节气装置
人工智能·机器人
MidJourney中文版2 小时前
老年人与机器人玩具的情感连接
人工智能·机器人·语音识别
Codebee2 小时前
AI驱动的低代码革命:解构与重塑开发范式
人工智能·低代码·代码规范