技术栈
旋转位置编码
阿杰学AI
22 天前
人工智能
·
ai
·
语言模型
·
自然语言处理
·
位置编码
·
rope
·
旋转位置编码
AI核心知识93——大语言模型之 RoPE（简洁且通俗易懂版）
RoPE (Rotary Positional Embedding，旋转位置编码) 是目前大语言模型领域统治级的位置编码技术。
愤怒的可乐
2 年前
人工智能
·
深度学习
·
llama
·
旋转位置编码
·
分组查询注意力
Llama改进之——分组查询注意力
今天介绍LLAMA2模型引入的关于注意力的改进——分组查询注意力(Grouped-query attention,GQA)1。
愤怒的可乐
2 年前
llama
·
rope
·
旋转位置编码
Llama改进之——RoPE旋转位置编码
旋转位置编码(Rotary Position Embedding, RoPE)将绝对相对位置依赖纳入自注意力机制中，以增强Transformer架构的性能。目前很火的大模型LLaMA、QWen等都应用了旋转位置编码。
我是有底线的