notes for datawhale 2th summer camp NLP task2


tags:

  • AI-study
  • ML
    status: doing

教程链接

基于 Seq2Seq 的 Baseline 讲解

配置环境

数据预处理

  • 清洗和规范化数据

  • 分词

  • 构建词汇表和词向量

  • 序列截断和填充

  • 添加特殊标记

  • 数据增强

  • 数据分割

模型训练

编码器 - 解码器模型

我对你感到满意 ->I am satisfied with you

主流的神经机器翻译系统中,编码器由词嵌入层和中间网络层组成

解码器和编码器的结构基本一致。然而,在基于自注意力机制的翻译模型中,除了输出层,解码器还比编码器多一个编码­解码注意力子层,用于帮助模型更好地利用源语言信息
基于循环神经网络的机器翻译模型结构图

![[appendix/Pasted image 20240716103030.png]]

//给我公式,现在完全看不懂

文本长度越长,注意力机制对循环神经网络的翻译效果的提升就越大

注意力机制的引入使得不再需要把原始文本中的所有必要信息压缩到一个向量当中
引入注意力机制的循环神经网络机器翻译架构图

![[appendix/Pasted image 20240716104231.png]]

  • 参考上述基于注意力机制的循环神经网络机器翻译,以及GRU的相关知识,画出基于注意力机制的 GRU 神经网络机器翻译

GRU 知识讲解

翻译质量评价

世纪初研究人员提出了译文质量自动评价方法 BLEU(Bilingual Evaluation Understudy)

传统观点把翻译分为**"信"、"达"、"雅"三个层次,而 忠诚度体现的是一种"信"的思想,而流畅度**体现的是一种"达"的思想。不过"雅"在机器翻译评价中还不是一个常用的标准,而且机器翻译还没有达到"雅"的水平

机器翻译疑问评价方法,分为人工评价、无参考答案的机器评价、有参考答案的机器评价,各有优劣

课后思考

自注意力机制能够更好地利用中间信息,提高翻译效果

平时的学习中,或许也是如此。如果完整地听完一节课,再做笔记整理,可能就丢失了课中易失但重要的中间信息。

最近开始怀疑,现有的大模型,或者说这种架构的AI,是否真的能实现AGI,或者实现机器情感

虽然GPT-4的即时语音对话功能让人印象深刻,但是这种从自上到下搭建,自下到上用数据填出一个成熟智能体的做法,还是无法让我心悦诚服

相关推荐
zm-v-1593043398628 分钟前
ArcGIS 水文分析升级:基于深度学习的流域洪水演进过程模拟
人工智能·深度学习·arcgis
拓端研究室1 小时前
视频讲解|核密度估计朴素贝叶斯:业务数据分类—从理论到实践
人工智能·分类·数据挖掘
灵智工坊LingzhiAI1 小时前
人体坐姿检测系统项目教程(YOLO11+PyTorch+可视化)
人工智能·pytorch·python
昨日之日20062 小时前
Video Background Remover V3版 - AI视频一键抠像/视频换背景 支持50系显卡 一键整合包下载
人工智能·音视频
SHIPKING3932 小时前
【机器学习&深度学习】什么是下游任务模型?
人工智能·深度学习·机器学习
子燕若水6 小时前
Unreal Engine 5中的AI知识
人工智能
极限实验室7 小时前
Coco AI 实战(一):Coco Server Linux 平台部署
人工智能
杨过过儿8 小时前
【学习笔记】4.1 什么是 LLM
人工智能
巴伦是只猫8 小时前
【机器学习笔记Ⅰ】13 正则化代价函数
人工智能·笔记·机器学习
大千AI助手8 小时前
DTW模版匹配:弹性对齐的时间序列相似度度量算法
人工智能·算法·机器学习·数据挖掘·模版匹配·dtw模版匹配