notes for datawhale 2th summer camp NLP task2


tags:

  • AI-study
  • ML
    status: doing

教程链接

基于 Seq2Seq 的 Baseline 讲解

配置环境

略

数据预处理

  • 清洗和规范化数据

  • 分词

  • 构建词汇表和词向量

  • 序列截断和填充

  • 添加特殊标记

  • 数据增强

  • 数据分割

模型训练

编码器 - 解码器模型

我对你感到满意 ->I am satisfied with you

主流的神经机器翻译系统中,编码器由词嵌入层和中间网络层组成

解码器和编码器的结构基本一致。然而,在基于自注意力机制的翻译模型中,除了输出层,解码器还比编码器多一个编码­解码注意力子层,用于帮助模型更好地利用源语言信息
基于循环神经网络的机器翻译模型结构图

!\[appendix/Pasted image 20240716103030.png]

//给我公式,现在完全看不懂

文本长度越长,注意力机制对循环神经网络的翻译效果的提升就越大

注意力机制的引入使得不再需要把原始文本中的所有必要信息压缩到一个向量当中
引入注意力机制的循环神经网络机器翻译架构图

!\[appendix/Pasted image 20240716104231.png]

  • 参考上述基于注意力机制的循环神经网络机器翻译,以及GRU的相关知识,画出基于注意力机制的 GRU 神经网络机器翻译

GRU 知识讲解

翻译质量评价

世纪初研究人员提出了译文质量自动评价方法 BLEU(Bilingual Evaluation Understudy)

传统观点把翻译分为**"信"、"达"、"雅"三个层次,而 忠诚度体现的是一种"信"的思想,而流畅度**体现的是一种"达"的思想。不过"雅"在机器翻译评价中还不是一个常用的标准,而且机器翻译还没有达到"雅"的水平

机器翻译疑问评价方法,分为人工评价、无参考答案的机器评价、有参考答案的机器评价,各有优劣

课后思考

自注意力机制能够更好地利用中间信息,提高翻译效果

平时的学习中,或许也是如此。如果完整地听完一节课,再做笔记整理,可能就丢失了课中易失但重要的中间信息。

最近开始怀疑,现有的大模型,或者说这种架构的AI,是否真的能实现AGI,或者实现机器情感

虽然GPT-4的即时语音对话功能让人印象深刻,但是这种从自上到下搭建,自下到上用数据填出一个成熟智能体的做法,还是无法让我心悦诚服

相关推荐
VIP_CQCRE7 小时前
GPT Image 2.6 商品图换背景后悬浮?接触阴影、透明区域与反射验收
图像处理·人工智能·ai·电商
泯泷8 小时前
别再傻傻地喂文件了,大厂都在偷偷给AI建这种“专属图书馆”
人工智能
oak隔壁找我9 小时前
一款运行在 DSH(DeepSeek Harness)中的类 Postman HTTP 接口调试插件
人工智能·程序员
高洁019 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
β添砖java9 小时前
NLP自然语言处理4:迁移学习:fasttext工具,训练词向量、词向量迁移、迁移学习概念、NLP中常用预训练模型、transformer库使用、迁移学习实践
自然语言处理·transformer·迁移学习
Csvn10 小时前
如果明天供应商涨价 3 倍?三层解耦,换模型只改一行配置(C05)
人工智能·aigc·agent
在所不辞兄10 小时前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习
锋行天下11 小时前
langgraph 全栈项目(三)
前端·人工智能·后端
黄啊码11 小时前
【黄啊码】最近面了十几个想转 FDE 的程序员,一个都没招
人工智能
锋行天下12 小时前
langgraph 全栈项目(二)
前端·人工智能·后端