scaling laws for neural language models

关于scaling law 的正确认识 - 知乎最近scaling law 成了最大的热词。一般的理解就是,想干大模型,清洗干净数据,然后把数据tokens量堆上来,然后搭建一个海量H100的集群,干就完了。训练模型不需要啥技巧,模型结构也没啥好设计的,对算法精度影响...https://zhuanlan.zhihu.com/p/684955373对于基于transformer的语言模型,假设模型的参数量为N,数据集tokens个数为D(token数),那么模型的计算量C约为6ND,模型的计算量C一定后,模型的性能即精度就基本确定。语言模型的影响因素只有N和D,跟模型的具体结构诸如层数,深度,attention头个数基本无关,相关性非常小,性能在2%的区间内。

scaling laws的前提是标准的transformer结构。

相关推荐
jndingxin24 分钟前
OpenCV 图形API(21)逐像素操作
人工智能·opencv·计算机视觉
程序员小杰@1 小时前
AI前端组件库Ant DesIgn X
开发语言·前端·人工智能
浩哥的技术博客2 小时前
使用MetaGPT 创建智能体(1)入门
人工智能·大模型·智能体
不惑_3 小时前
基于HAI应用,从零开始的NLP处理实践指南
人工智能
OreoCC3 小时前
第R3周:RNN-心脏病预测(pytorch版)
人工智能·pytorch·rnn
说私域3 小时前
基于开源链动 2+1 模式 AI 智能名片 S2B2C 商城小程序的社群团购品牌命名策略研究
人工智能·小程序·开源·零售
森叶3 小时前
免费Deepseek-v3接口实现Browser-Use Web UI:浏览器自动化本地模拟抓取数据实录
前端·人工智能·自动化
訾博ZiBo4 小时前
AI日报 - 2025年4月9日
人工智能