scaling law

从野蛮生长到精耕细作：AI中的Scaling Law正在开启新篇章（下篇）上篇我们聊到，Scaling Law就像AI界的“牛顿定律”——只要你把模型、数据、算力这三个旋钮一起拧大，智能就会像烧开水一样，到了一定温度必然沸腾。过去几年，整个行业靠着这股“大力出奇迹”的蛮劲，硬是把AI从“人工智障”推到了“吟诗作对”的高度。

从“大力出奇迹”到“四两拨千斤”：AI中的Scaling Law进化史（上篇)如果你关注过AI这几年的发展，一定听过这样一句话：“大力出奇迹”。从ChatGPT横空出世，到GPT-4惊艳全球，再到各种大模型百花齐放，背后似乎都藏着一个简单的逻辑：只要模型够大、数据够多、算力够猛，智能就会像变魔术一样涌现出来。

谢赛宁 x LeCun x Meta 多模态新作：Beyond Language Modeling (Insight 拉满)从vision encoder, Architecture：MoE/Dense, multimodal data，world modeling，scaling laws of UMMs 等几个方面对Native multimodal pretraining 进行探索；

大模型 Scaling Law 的本质是工业化思维，Token 工厂，Token 生意🍉 CSDN 叶庭云：https://yetingyun.blog.csdn.net/1. Scaling Law 的本质是工业化思维

【自然语言处理】【Scaling Law】Observational Scaling Laws：跨不同模型构建Scaling Law相关博客【自然语言处理】【Scaling Law】Observational Scaling Laws：跨不同模型构建Scaling Law 【自然语言处理】【Scaling Law】语言模型物理学第3.3部分：知识容量Scaling Laws 【自然语言处理】Transformer中的一种线性特征【自然语言处理】【大模型】DeepSeek-V2论文解析【自然语言处理】【大模型】BitNet：用1-bit Transformer训练LLM 【自然语言处理】BitNet b1.58：1bit LLM

自律版光追

【Roadmap to learn LLM】Large Language Models in Five Formulasby Alexander RushOur hope: reasoning about LLMs Our Issue

我是有底线的