scaling laws for neural language models

关于scaling law 的正确认识 - 知乎最近scaling law 成了最大的热词。一般的理解就是,想干大模型,清洗干净数据,然后把数据tokens量堆上来,然后搭建一个海量H100的集群,干就完了。训练模型不需要啥技巧,模型结构也没啥好设计的,对算法精度影响...https://zhuanlan.zhihu.com/p/684955373对于基于transformer的语言模型,假设模型的参数量为N,数据集tokens个数为D(token数),那么模型的计算量C约为6ND,模型的计算量C一定后,模型的性能即精度就基本确定。语言模型的影响因素只有N和D,跟模型的具体结构诸如层数,深度,attention头个数基本无关,相关性非常小,性能在2%的区间内。

scaling laws的前提是标准的transformer结构。

相关推荐
好家伙VCC1 分钟前
**发散创新:AI绘画编程探索与实践**随着人工智能技术的飞速发展,AI绘
java·人工智能·python·ai作画
兔兔爱学习兔兔爱学习4 分钟前
2025年语音识别(ASR)与语音合成(TTS)技术趋势分析对比
人工智能·语音识别
中杯可乐多加冰9 分钟前
服务编排搭建案例详解|基于smardaten实现协同办公平台复杂交互
人工智能·低代码
AndrewHZ14 分钟前
【图像处理基石】图像匹配技术:从原理到实践,OpenCV实现与进阶方向
图像处理·人工智能·opencv·图像匹配·算法原理
有点笨的蛋21 分钟前
从零构建你的 AIGC 后端:pnpm + dotenv + OpenAI SDK 的现代工程实践
人工智能·node.js
openHiTLS密码开源社区24 分钟前
密码学与人工智能的深度融合:玄知大模型开启安全智能新纪元
人工智能·密码学·gpt-4o·openhitls·玄知大模型·sm4-hctr·密码学大模型
AI妈妈手把手26 分钟前
YOLO V2全面解析:更快、更准、更强大的目标检测算法
人工智能·算法·yolo·目标检测·计算机视觉·yolo v2
一个向上的运维者33 分钟前
AI重塑云计算与运维:从被动响应到智能自治的进化之路
运维·人工智能·云计算
数智前线33 分钟前
筑牢智算“地基”:华为以RAS理念重塑AIDC建设新模式
大数据·人工智能
我狸才不是赔钱货1 小时前
CUDA:通往大规模并行计算的桥梁
c++·人工智能·pytorch