技术栈
scaling laws
Token炼金师
18 天前
人工智能
·
深度学习
·
大模型架构
·
kv cache
·
scaling laws
幂律的预言：Kaplan 与 Chinchilla 的算力账本 —— Scaling Laws 与最优配比
Scaling Laws 揭示大模型损失随参数、数据、算力的幂律关系，是预训练资源规划的基石。本文从 Kaplan 与 Chinchilla 两大定律的数学形式、争议根源、最优配比、涌现现象、μP 跨尺度迁移五个切口，给出源码级拟合实现与企业级算力规划决策框架。
阿杰学AI
7 个月前
人工智能
·
ai
·
语言模型
·
aigc
·
模型训练
·
缩放定律
·
scaling laws
AI核心知识50——大语言模型之Scaling Laws（简洁且通俗易懂版）
Scaling Laws (缩放定律) 是目前 AI 领域的“摩尔定律”，也是 OpenAI 等巨头公司敢于投入几百亿美元去训练下一个模型的“信仰之源”。
爱听歌的周童鞋
8 个月前
llm
·
minicpm
·
deepseek
·
cs336
·
mup
·
scaling laws
斯坦福大学 | CS336 | 从零开始构建语言模型 | Spring 2025 | 笔记 | Lecture 11: Scaling laws 2
学习斯坦福的 CS336 课程，本篇文章记录课程第十一讲：推理，记录下个人学习笔记，仅供自己参考😄website：https://stanford-cs336.github.io/spring2025
我是有底线的