2022 年 11 月 11 日，掘金举办的掘力计划第27期活动在北京成功举行。本次活动以"大模型的实现原理和应用"为主题，汇聚了众多行业专家和学者，围绕大模型技术的最新进展进行了深入探讨。活动现场，来自北京大学、昆仑万维和清华大学的专家学者先后进行了题为《CodeShell：本地化轻量化的智能代码助手》、《昆仑万维天工大模型技术实践与探索》和《下一代快速生成模型：从潜在扩散模型(LDM)到潜在一致性模型(LCM)》的技术分享，从不同角度阐释了大模型技术的原理、应用和发展前景。
CodeShell：将大模型应用于软件工程领域
本次活动的第一位讲师是来自北京大学知识计算实验室的谢睿博士。他以《CodeShell：本地化轻量化的智能代码助手》为题，重点介绍了他们基于大模型技术自主研发的 CodeShell 系列产品。CodeShell 专注于解决软件工程中的关键问题，例如代码生成和缺陷检测。谢博士详细阐释了 CodeShell 的创新理念、技术实现及其在实际软件开发中的应用。
谢博士首先从大模型技术的发展背景开始，简要介绍了大模型的主要类型和特点。他指出，尽管大模型在许多任务上表现突出，但直接应用于软件工程领域时，效果并不理想。为此，他们面向软件开发的具体需求，开发了 CodeShell 系列模型。CodeShell 通过在大量代码数据上进行预训练，显著提升了模型在软件工程任务上的表现。
在 CodeShell 的实现上，研究团队非常重视数据的质量和多样性。他们整合了来自开源社区的大量代码数据，并采用了严格的质量控制措施，最终构建了一个包含多种编程语言和风格的庞大数据库。在此数据上，CodeShell 完成了预训练，建立了可靠的编程知识基础。而后续的微调则使模型更好地适应具体的代码生成、缺陷检测等任务。
CodeShell 的一个重要创新在于其支持本地化部署。不同于依赖云服务的代码助手，CodeShell 可以在用户本地环境中运行，有效保护了用户的数据隐私。此外，该模型还提供了与主流 IDE 的集成插件，以提升用户体验。总体来看，CodeShell 在软件工程领域实现了大模型技术与实际需求的高效结合，为开发者提供了有力的智能化支持。
昆仑万维推出自主研发大模型并探索商业化应用
本次活动的第二位讲师是昆仑万维商业化团队产品总监陈岩峰。他以《昆仑万维天工大模型技术实践与探索》为题，重点介绍了公司在大模型研发和应用方面的探索。陈岩峰首先简要介绍了昆仑万维的背景，作为一家上市高科技公司，昆仑万维自 2020 年起就开始大模型技术的自主研发。2023 年 4 月，公司发布了规模达 130 亿参数的天工大模型 Skywork-13B。
在模型实现上，昆仑万维对网络结构进行了创新设计，采用了 RMSNorm 和 SwiGLU 等技术来提升性能和训练效率。数据方面，研发团队构建了包含多语言的高质量数据集，并采用严格的质量控制手段。此外，Skywork-13B 还采用了两阶段的训练策略：第一阶段聚焦通用能力，第二阶段在此基础上进行垂直领域的增量训练，以平衡通用性和专业性。
在商业化方面，昆仑万维开发了多款支持大模型技术的产品，如国内首款基于大语言模型的AI搜索引擎"天工 AI 搜索"。该产品能够深入理解用户意图，直接返回精确的答案，大幅提升了搜索效率。此外，公司还将大模型技术应用于游戏、音乐等领域，进行了多方位的尝试。总体来看，昆仑万维在大模型技术的产学研一体化方面具有突出实力。
LCM模型实现图像生成过程的加速
本次活动的最后一位讲师是清华大学的骆思勉。他以《下一代快速生成模型：从潜在扩散模型(LDM)到潜在一致性模型(LCM)》为题，重点讲解了他们团队近期在图像生成模型方面的创新进展。骆思勉首先介绍了潜在扩散模型 LDM 的基本原理，这种模型已经在图像生成领域取得了显著突破。但 LDM 生成图像仍需大量迭代计算，效率较低。为解决这一痛点，他们提出了一种全新的模型------潜在一致性模型(LCM)。
LCM 实现了传统 LDM 无法达到的快速高效生成能力。相比 LDM 需要上百步迭代，LCM 只需大约4步即可生成高质量图片，加速效果显著。技术上，LCM 采用了基于神经网络的求解器，可以直接预测最终的清晰图像，跳过了迭代过程。此外，LCM 还支持 CFG(Classifier-Free Guidance) 技术，可以生成符合条件要求的高质量图片。自上线以来，LCM 在开发者社区反响热烈，下载量超过 40 万，充分证明了其强大的实用价值。
结语
本次掘力计划活动汇聚了业内顶尖的专家学者，他们从多个维度深入剖析了大模型技术的最新进展。可以看出，大模型技术已经成为人工智能发展的新方向，在软件工程、多媒体内容生成等领域展现出强大的应用潜力。如 CodeShell 在软件开发中提供智能支持，天工大模型实现商业化应用，LCM 大幅提升了图像生成效率等。随着模型优化和应用场景的拓展，大模型技术必将在更多领域取得重大进展，为人类社会发展提供强大动力。相信在不远的未来，我们将见证大模型技术在人工智能时代的广泛应用和深刻影响。
掘力计划
掘力计划由稀土掘金技术社区发起，致力于打造一个高品质的技术分享和交流的系列品牌。聚集国内外顶尖的技术专家、开发者和实践者，通过线下沙龙、闭门会、公开课等多种形式分享最前沿的技术动态。