技术栈
分组查询注意力
愤怒的可乐
1 年前
人工智能
·
深度学习
·
llama
·
旋转位置编码
·
分组查询注意力
Llama改进之——分组查询注意力
今天介绍LLAMA2模型引入的关于注意力的改进——分组查询注意力(Grouped-query attention,GQA)1。