一、Transformer模型
Transformer模型是一种基于自注意力机制的架构，由Vaswani等人在2017年的论文《Attention Is All You Need》中首次提出。它主要用于处理序列到序列的任务，如机器翻译、文本摘要等。
案例：机器翻译
假设我们想将英文句子 "The quick brown fox" 翻译成法语。在传统的序列到序列模型中，这通常涉及到编码器-解码器架构。Transformer模型首先将句子中的每个单词转换为嵌入向量，然后通过多头自注意力机制来处理这些向量，允许模型同时关注句子中的所有单词。接着，模型生成法语翻译 "Le renard brun rapide"。
特点：
- 多头注意力：允许模型在不同的表示子空间中捕捉信息。
- 并行处理：由于自注意力不依赖于序列的先前状态，可以并行处理序列中的所有元素，这大大提高了训练速度。
二、词汇切分（Tokenization）
词汇切分是将文本分割成更小的单元，通常是单词、子词或字符的过程。这是自然语言处理中的一个关键步骤，因为它允许模型以一种标准化的方式处理文本。
案例：子词切分
考虑英文单词 "university"，在不同的语言模型中可能被切分为 ["uni", "vers", "ity"] 或 ["un", "iv", "ers", "ity"]。这种切分允许模型更灵活地处理未见过的单词或罕见词汇。
特点：
- 灵活性：可以适应不同长度和复杂性的词汇。
- 效率：通过共享子词的嵌入，减少了模型需要学习的参数数量。
三、嵌入（Embedding）
嵌入是将词汇映射到连续的向量空间的过程，这些向量捕捉了词汇的语义信息。在Transformer模型中，每个Token都被转换为一个固定长度的嵌入向量。
案例：词义相似性
考虑单词 "cat" 和 "feline"，一个好的嵌入模型会将它们的嵌入向量映射到向量空间中彼此接近的位置，因为它们具有相似的含义。
特点：
- 密集表示：每个维度都捕捉了词汇的某些语义属性。
- 降维：将高维的词汇空间映射到较低维度的连续向量空间。
四、Attention
Attention机制是一种资源分配策略，它允许模型在序列的不同部分之间动态地分配处理资源。在Transformer模型中，自注意力机制允许模型在生成输出时同时考虑输入序列的所有部分。
案例：文本理解
假设我们有一句话 "I love to eat broccoli because it is healthy"。在没有attention机制的模型中，当模型处理 "it" 时，可能已经忘记了 "broccoli" 的信息。而自注意力机制允许模型在处理 "it" 时重新关注 "broccoli"，从而更好地理解整个句子。
特点：
- 选择性：模型可以选择性地关注输入序列中最相关的部分。
- 上下文建模：能够捕捉长距离依赖关系，即句子中相隔很远的词之间的关系。