notes for datawhale 2th summer camp NLP task2


tags:

  • AI-study
  • ML
    status: doing

教程链接

基于 Seq2Seq 的 Baseline 讲解

配置环境

数据预处理

  • 清洗和规范化数据

  • 分词

  • 构建词汇表和词向量

  • 序列截断和填充

  • 添加特殊标记

  • 数据增强

  • 数据分割

模型训练

编码器 - 解码器模型

我对你感到满意 ->I am satisfied with you

主流的神经机器翻译系统中,编码器由词嵌入层和中间网络层组成

解码器和编码器的结构基本一致。然而,在基于自注意力机制的翻译模型中,除了输出层,解码器还比编码器多一个编码­解码注意力子层,用于帮助模型更好地利用源语言信息
基于循环神经网络的机器翻译模型结构图

![[appendix/Pasted image 20240716103030.png]]

//给我公式,现在完全看不懂

文本长度越长,注意力机制对循环神经网络的翻译效果的提升就越大

注意力机制的引入使得不再需要把原始文本中的所有必要信息压缩到一个向量当中
引入注意力机制的循环神经网络机器翻译架构图

![[appendix/Pasted image 20240716104231.png]]

  • 参考上述基于注意力机制的循环神经网络机器翻译,以及GRU的相关知识,画出基于注意力机制的 GRU 神经网络机器翻译

GRU 知识讲解

翻译质量评价

世纪初研究人员提出了译文质量自动评价方法 BLEU(Bilingual Evaluation Understudy)

传统观点把翻译分为**"信"、"达"、"雅"三个层次,而 忠诚度体现的是一种"信"的思想,而流畅度**体现的是一种"达"的思想。不过"雅"在机器翻译评价中还不是一个常用的标准,而且机器翻译还没有达到"雅"的水平

机器翻译疑问评价方法,分为人工评价、无参考答案的机器评价、有参考答案的机器评价,各有优劣

课后思考

自注意力机制能够更好地利用中间信息,提高翻译效果

平时的学习中,或许也是如此。如果完整地听完一节课,再做笔记整理,可能就丢失了课中易失但重要的中间信息。

最近开始怀疑,现有的大模型,或者说这种架构的AI,是否真的能实现AGI,或者实现机器情感

虽然GPT-4的即时语音对话功能让人印象深刻,但是这种从自上到下搭建,自下到上用数据填出一个成熟智能体的做法,还是无法让我心悦诚服

相关推荐
机器之心5 分钟前
刚刚,苹果基础模型团队负责人庞若鸣被Meta挖走!加入超级智能团队、年薪千万美元
人工智能
G.E.N.1 小时前
开源!RAG竞技场(2):标准RAG算法
大数据·人工智能·深度学习·神经网络·算法·llm·rag
西西弗Sisyphus1 小时前
如果让计算机理解人类语言- Word2Vec(Word to Vector,2013)
人工智能·word·word2vec
前端双越老师1 小时前
30 行代码 langChain.js 开发你的第一个 Agent
人工智能·node.js·agent
东坡肘子2 小时前
高温与奇怪的天象 | 肘子的 Swift 周报 #092
人工智能·swiftui·swift
KaneLogger2 小时前
视频转文字,别再反复拖进度条了
前端·javascript·人工智能
度假的小鱼2 小时前
从 “人工编码“ 到 “AI 协同“:大模型如何重塑软件开发的效率与范式
人工智能
zm-v-159304339863 小时前
ArcGIS 水文分析升级:基于深度学习的流域洪水演进过程模拟
人工智能·深度学习·arcgis
拓端研究室4 小时前
视频讲解|核密度估计朴素贝叶斯:业务数据分类—从理论到实践
人工智能·分类·数据挖掘