DeepSeek专题：DeepSeek-V2核心知识点速览

AIGCmagic社区知识星球是国内首个以AIGC全栈技术与商业变现为主线的学习交流平台，涉及AI绘画、AI视频、大模型、AI多模态、数字人以及全行业AIGC赋能等100+应用方向。星球内部包含海量学习资源、专业问答、前沿资讯、内推招聘、AI课程、AIGC模型、AIGC数据集和源码等干货。
AIGCmagic社区知识星球

截至目前，星球内已经累积了2000+AICG时代的前沿技术、干货资源以及学习资源；涵盖了600+AIGC行业商业变现的落地实操与精华报告；完整构建了以AI绘画、AI视频、大模型、AI多模态以及数字人为核心的AIGC时代五大技术方向架构，其中包含近500万字完整的AIGC学习资源与实践经验。

论文题目：《DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model》

发表时间：2024年5月

论文地址：https://arxiv.org/pdf/2405.04434v5
本文作者：魔方AI空间公众号主理人猫先生

在2024年5月前后的时间，大语言模型（LLMs）的快速发展 ，展示了人工智能（AGI）的曙光 。然而，随着参数量的增加，模型的智能提升带来了更大的计算资源需求和推理吞吐量 的潜在下降，限制了LLMs的广泛应用。

本项目主要目标是解决LLMs在训练和推理过程中资源消耗大的问题 ，通过创新架构（包括多头潜在注意力（MLA）和DeepSeekMoE） 实现经济高效的训练 和高效的推理。

图1｜(a) 不同开源模型下多模态语言模型（MMLU）准确率与激活参数的关系。(b) DeepSeek 67B（密集型）和DeepSeek-V2的训练成本与推理效率。

方法概述

DeepSeek-V2 ，一种强大的MoE语言模型，通过创新的架构实现了经济和高效的训练和推理。

图2 | DeepSeek-V2架构示意图。MLA通过显著减少生成所需的KV缓存来确保高效推理，而DeepSeekMoE则通过稀疏架构以经济成本训练出强大的模型。

多头潜在注意力（MLA）

一种新的注意力机制，通过低秩键值联合压缩来显著减少推理时的键值缓存，从而提高推理效率。MLA的计算过程如下：

**标准多头注意力（MHA）**首先通过三个矩阵计算查询（q）、键（k）和值（v）：

然后，将q、k、v切片成多个头进行多头注意力计算：

最后，通过softmax函数计算权重并进行加权和：

MLA通过低秩联合压缩键值对：

图3 | 多头注意力（MHA）、分组查询注意力（GQA）、多查询注意力（MQA）和多头潜在注意力（MLA）的简化示意图。通过将键和值联合压缩成一个潜在向量，MLA在推理过程中显著减少了KV缓存

DeepSeekMoE

通过细粒度的专家分割和共享专家隔离 来实现更高效的模型训练。DeepSeekMoE的基本思想是将专家分割成更细的粒度以提高专家的专业化，并通过隔离一些共享专家来缓解路由专家之间的知识冗余。具体计算过程如下：

对于每个token，计算其FFN输出：

通过设备限制路由机制来控制MoE相关的通信成本，确保每个token的专家分布在最多M个设备上。
设计了三种辅助损失来控制专家级负载平衡、设备级负载平衡和通信平衡。
采用设备级token丢弃策略来进一步缓解计算浪费。

技术交流

加入**「AIGCmagic社区」** ，一起交流讨论，涉及AI视频、AI绘画、数字人、多模态、大模型****、传统****深度学习、自动驾驶 等多个不同方向，可私信或添加微信号：【lzz9527288】，备注不同方向邀请入群！

更多精彩内容，尽在**「**** AIGCmagic社区****」，**关注了解全栈式AIGC内容！

DeepSeek专题：DeepSeek-V2核心知识点速览

方法概述

多头潜在注意力（MLA）

DeepSeekMoE

推荐阅读

技术交流