高效推理

【arXiv 2024】DeepSeek-V2 论文解读：经济训练与高效推理的 MoE 大语言模型｜从稀疏架构降本增效视角本文解读 arXiv 2024 论文《DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model》。该论文提出DeepSeek-V2 大语言模型，通过融合MLA（多头潜在注意力）、DeepSeekMoE（细粒度专家稀疏）与GRPO 两阶段对齐，在 236B 总参数、每 token 仅激活 21B 的条件下支持 128K 上下文，其特别之处在于用低秩 KV 联合压缩把推理显存瓶颈转化为一次可被矩阵吸收的

【NeurIPS 2023】H2O：重型命中者预言机——大模型高效生成式推理的 KV Cache 驱逐策略｜从大模型推理系统优化视角本文解读 NeurIPS 2023 论文《H2O: Heavy-Hitter Oracle for Efficient Generative Inference of Large Language Models》。该论文提出H2O（重型命中者预言机）KV Cache 驱逐策略，通过融合注意力稀疏性观测、累加注意力分数幂律分布与动态子模最大化理论，只保留重型命中者和最近 token，即可用 20% 的 KV 缓存预算实现 5–10 倍内存缩减、最高 29 倍吞吐提升，且精度与全缓存持平甚至反超。实验覆盖 O

OpenEMMA：开源多模态端到端自动驾驶框架全解析在自动驾驶技术飞速发展的今天，端到端系统因其能直接从传感器输入学习驾驶动作、实现整体优化的特性，逐渐成为研究热点。然而，现有端到端模型存在资源需求大、泛化能力弱、闭源限制等问题。由德州农工大学、密歇根大学和多伦多大学联合提出的 OpenEMMA 框架，基于多模态大语言模型（MLLMs），以开源、高效、鲁棒为核心优势，为端到端自动驾驶技术的普及与发展提供了全新解决方案。

【自然语言处理】【大模型】BitNet：用1-bit Transformer训练LLM论文地址：https://arxiv.org/pdf/2310.11453.pdf相关博客【自然语言处理】【大模型】BitNet：用1-bit Transformer训练LLM 【自然语言处理】BitNet b1.58：1bit LLM时代【自然语言处理】【长文本处理】RMT：能处理长度超过一百万token的Transformer 【自然语言处理】【大模型】MPT模型结构源码解析(单机版) 【自然语言处理】【大模型】ChatGLM-6B模型结构代码解析(单机版) 【自然语言处理】【大模型】BLOOM模

我是有底线的