tags:
- AI-study
- ML
status: doing
基于 Seq2Seq 的 Baseline 讲解
配置环境
略
数据预处理
-
清洗和规范化数据
-
分词
-
构建词汇表和词向量
-
序列截断和填充
-
添加特殊标记
-
数据增强
-
数据分割
模型训练
编码器 - 解码器模型
我对你感到满意 ->I am satisfied with you
主流的神经机器翻译系统中，编码器由词嵌入层和中间网络层组成
解码器和编码器的结构基本一致。然而，在基于自注意力机制的翻译模型中，除了输出层，解码器还比编码器多一个编码解码注意力子层，用于帮助模型更好地利用源语言信息
基于循环神经网络的机器翻译模型结构图
![[appendix/Pasted image 20240716103030.png]]
//给我公式，现在完全看不懂
文本长度越长，注意力机制对循环神经网络的翻译效果的提升就越大
注意力机制的引入使得不再需要把原始文本中的所有必要信息压缩到一个向量当中
引入注意力机制的循环神经网络机器翻译架构图
![[appendix/Pasted image 20240716104231.png]]
- 参考上述基于注意力机制的循环神经网络机器翻译，以及GRU的相关知识，画出基于注意力机制的 GRU 神经网络机器翻译
翻译质量评价
世纪初研究人员提出了译文质量自动评价方法 BLEU（Bilingual Evaluation Understudy）
传统观点把翻译分为**"信"、"达"、"雅"三个层次，而 忠诚度体现的是一种"信"的思想，而流畅度**体现的是一种"达"的思想。不过"雅"在机器翻译评价中还不是一个常用的标准，而且机器翻译还没有达到"雅"的水平
机器翻译疑问评价方法，分为人工评价、无参考答案的机器评价、有参考答案的机器评价，各有优劣
课后思考
自注意力机制能够更好地利用中间信息，提高翻译效果
平时的学习中，或许也是如此。如果完整地听完一节课，再做笔记整理，可能就丢失了课中易失但重要的中间信息。
最近开始怀疑，现有的大模型，或者说这种架构的AI，是否真的能实现AGI，或者实现机器情感
虽然GPT-4的即时语音对话功能让人印象深刻，但是这种从自上到下搭建，自下到上用数据填出一个成熟智能体的做法，还是无法让我心悦诚服