技术栈

缩放定律

阿杰学AI
21 天前
人工智能·ai·语言模型·aigc·模型训练·缩放定律·scaling laws
AI核心知识50——大语言模型之Scaling Laws(简洁且通俗易懂版)Scaling Laws (缩放定律) 是目前 AI 领域的“摩尔定律”,也是 OpenAI 等巨头公司敢于投入几百亿美元去训练下一个模型的“信仰之源”。
一个处女座的程序猿
1 年前
大语言模型·缩放定律
LLMs:《Scaling Laws for Precision精度感知的缩放定律》翻译与解读LLMs:《Scaling Laws for Precision精度感知的缩放定律》翻译与解读导读:这篇论文研究了低精度训练和推理对大型语言模型(LLM)的影响。通过大量的实验,建立了精度感知型缩放定律,为低精度训练和推理提供了理论指导,并指出了现有实践中的一些潜在问题,例如盲目追求极低精度训练和过度训练带来的负面影响。 论文的贡献在于它系统地研究了精度、参数量和数据量之间的复杂相互作用,为未来的 LLM 训练和部署提供了重要的参考。
我是有底线的