scaling laws

Together_CZ16 天前
语言模型·llm·transformer·scaling laws·parcae·用于稳定循环语言模型的扩展定律·stable looped
Parcae: Scaling Laws For Stable Looped Language Models——用于稳定循环语言模型的扩展定律论文由加州大学圣迭戈分校和Together AI的研究者共同完成,聚焦于如何稳定地训练循环(Looped)架构的大语言模型,并将其发展为一种独立于模型参数和数据量的、可预测的扩展计算规模的新维度。核心贡献是提出了新型循环架构 Parcae,通过动态系统理论和工程化改进,解决了该类模型长期存在的训练不稳定问题,并首次系统性地推导了其在训练和推理阶段的扩展定律。
Token炼金师2 个月前
人工智能·深度学习·大模型架构·kv cache·scaling laws
幂律的预言:Kaplan 与 Chinchilla 的算力账本 —— Scaling Laws 与最优配比Scaling Laws 揭示大模型损失随参数、数据、算力的幂律关系,是预训练资源规划的基石。本文从 Kaplan 与 Chinchilla 两大定律的数学形式、争议根源、最优配比、涌现现象、μP 跨尺度迁移五个切口,给出源码级拟合实现与企业级算力规划决策框架。
阿杰学AI9 个月前
人工智能·ai·语言模型·aigc·模型训练·缩放定律·scaling laws
AI核心知识50——大语言模型之Scaling Laws(简洁且通俗易懂版)Scaling Laws (缩放定律) 是目前 AI 领域的“摩尔定律”,也是 OpenAI 等巨头公司敢于投入几百亿美元去训练下一个模型的“信仰之源”。
爱听歌的周童鞋9 个月前
llm·minicpm·deepseek·cs336·mup·scaling laws
斯坦福大学 | CS336 | 从零开始构建语言模型 | Spring 2025 | 笔记 | Lecture 11: Scaling laws 2学习斯坦福的 CS336 课程,本篇文章记录课程第十一讲:推理,记录下个人学习笔记,仅供自己参考😄website:https://stanford-cs336.github.io/spring2025
我是有底线的