AI
1. 请简述一下 Transformer 架构的设计理念？
答：Transformer架构旨在攻克传统序列模型（如RNN）处理长序列时面临的梯度问题及并行计算难题。其核心理念围绕自注意力机制展开，该机制使模型在处理序列元素时，能同时考量其他元素信息，有效捕获长距离依赖关系，解决RNN长序列记忆衰退问题。此外，多头注意力机制通过多头部并行计算注意力，从不同子空间提取特征，强化模型表达力。鉴于自注意力机制无法感知位置信息，Transformer引入位置编码。同时，借助前馈神经网络层，增加模型非线性表达。这些设计让Transformer得以并行计算，显著提升训练效率，为大规模序列数据处理提供高效方案。
2. Navie RAG、Advance RAG、还有Graph RAG 它们之间的关系？又是如何一步步演化的？
答：Navie RAG是基础简单线性流程但复杂任务表现有限，Advance RAG在其基础上增加预检索与后检索优化阶段及采用混合检索策略提升精度与生成质量，Graph RAG则融合知识图谱技术实现从文本块检索到知识关联推理的升级，三者是针对处理能力与效果逐步优化提升的演化关系 。