1. AI通识与基础
AI核心是一种Transformer，这是一种神经网络架构，本质就是在模拟人类大脑神经元。将千千万万个神经元连接起来的，这就组成了神经元网络。
神经网络分层：
输入层：入口，接收数据。
隐藏层：信息处理和学习，可以有很多层。
输出层：出口产生结果。
基本流程：
前向传播：数据逐层加工，直到输出层产出结果。
计算误差：计算产出结果与正确结果的误差。
反向追责：倒退计算每一层的每个连接点对误差的贡献。
调整权重：根据每个连接的误差贡献比例，调整其权重参数，使误差变小。
2. 大语言模型
**词向量(Word Embedding)：**就是把词转为多维空间向量的一种技术。
●首先，将人类语言拆分为一个个片段，成为Token(词)。
●每个Token都经过模型计算转为一个浮点数数组，作为向量坐标（一个词的浮点数组可以是成千上万个甚至更多）。
3. Transformer-注意力机制
Transformer模型：注意力机制是模型能够更高效的根据上下文信息处理Token，理解token的含义。根据上下文信息，使向量能够朝着目标方向不断调整。
Word Embedding是第一步，是模型能够理解单个词的含义。
SoftMax会根据计算出的向量得出下一个Token的概率分布，然后基于概率的随机采样方式挑选一个作为结果。这个概率受模型的Temperature参数影响，值越大，概率分布越均匀，模型生成结果的随机性增强；反之越稳定。
Transformer本来是作为翻译用的，但当模型规模和训练量达到了某个临界点时，模型突然就像有了智能，不仅可以理解人类语言，还能推理，分析。这种现象被称为涌现 。这种超大规模的语言模型，称为大语言模型。