Neural Magic、Cerebras Systems 和 IST Austria 的研究人员提出了一种名为 Sparse Llama 的创新方法，通过将 SparseGPT 剪枝方法与稀疏预训练技术相结合，成功创建了稀疏化的 Llama-2 7B 模型，在保持模型精度的同时实现了高达 70% 的稀疏度，显著提高了模型效率和可访问性。
论文介绍
自然语言处理 (NLP) 是一个前沿领域，它使机器能够理解、解释和生成人类语言。它在语言翻译、文本摘要、情感分析和对话代理开发等各个领域都有应用。大型语言模型 (LLM) 通过利用海量数据以高精度执行任务，几乎可以媲美人类的表现，从而极大地推动了这些应用的发展。
当今 NLP 面临的主要挑战是训练和部署这些 LLM 所需的巨大计算和能源需求。它们庞大的规模通常限制了这些模型，使其变得昂贵且难以被更广泛的用户所接受。高计算成本和巨大的能源影响限制了这些模型的可用性，因此需要在不影响准确性的情况下减少计算占用空间。应对这一挑战对于使这些强大的工具更加广泛地可用和可持续发展至关重要。
人们已经采用各种方法来缓解这些挑战，并减少 LLM 的规模和计算需求。量化是一种减少表示每个模型参数所需的比特数的技术，而剪枝则涉及去除不太重要的权重以简化模型。然而，这两种方法在保持高精度方面都面临着巨大的障碍，尤其是在复杂任务中。当前的技术通常难以在不损害模型性能的情况下实现有意义的压缩比，特别是在高稀疏度水平下。
来自 Neural Magic、Cerebras Systems 和奥地利 IST 的研究人员引入了一种新方法来创建大型语言模型的稀疏基础版本。他们专门针对 LLaMA-2 7B 模型，目标是将 SparseGPT 剪枝方法与稀疏预训练技术相结合。这种创新方法旨在在保持或提高模型准确性的同时实现高稀疏度水平。研究人员的方法包括首先将模型剪枝至 50% 的稀疏度，然后进行进一步的迭代训练和剪枝步骤以达到 70% 的稀疏度。
该方法首先在 SlimPajama 和 The Stack 等高质量数据集的子集上进行稀疏预训练。稀疏预训练过程包括使用每层蒸馏进行微调，确保模型在聊天、代码生成和指令遵循等各种复杂任务中保持高精度。这个详细的过程包括训练 50% 稀疏模型直到收敛，然后进一步剪枝以达到 70% 的目标。对权重进行剪枝和冻结，并在训练期间强制执行稀疏度掩码以保持所需的稀疏度水平。这个迭代过程对于在微调后保持高恢复水平至关重要。
稀疏模型展示了在完全恢复微调任务的准确性的同时实现高达 70% 稀疏度的能力。Cerebras CS-3 芯片上的训练加速与理论扩展非常接近，展示了该方法的效率。推理速度显着提高，使用 Neural Magic 的 DeepSparse 引擎在 CPU 上提高了 3 倍，使用 nm-vllm 引擎在 GPU 上提高了 1.7 倍。此外，稀疏性和量化的结合使 CPU 上的总速度提高了 8.6 倍，突出了该方法的效率和有效性。
该研究结果强调了将稀疏性与量化相结合以实现显著的速度和性能提升的潜力。稀疏预训练方法被证明特别有效，在高达 70% 的稀疏度水平下表现出高恢复率。将 Cerebras 的 CS-3 AI 加速器集成到稀疏预训练中，进一步突出了这种方法的优势，它可以实现近乎理想的加速，并显著降低计算需求。
总之，这项研究成功地解决了在保持 LLM 性能的同时降低其计算需求的挑战。Neural Magic、Cerebras Systems 和奥地利 IST 的研究人员引入的创新性稀疏预训练和部署技术为该问题提供了一种有前景的解决方案。这种方法不仅提高了 NLP 模型的效率和可访问性，而且为该领域的未来发展奠定了基础。
论文下载
如何学习AI大模型？
作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
一、全套AGI大模型学习路线
AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！
二、640套AI大模型报告合集
这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。
三、AI大模型经典PDF籍
随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。
四、AI大模型商业化落地方案
作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。