技术栈
nan
thesky123456
11 天前
大模型
·
nan
·
混合精度
·
训练稳定性
·
容错训练
·
loss spike
·
bf16
27届大模型面试准备(五十):大模型训练稳定性与容错工程——从 loss spike 到弹性训练
前面几十篇把模型结构、后训练(A16)、分布式训练(A17)、量化(A19)、推理优化(A25/A30)讲透了。但有一个工程现实常被论文忽略:大模型训练动辄上千卡、跑几周,过程中一定会出事——loss 突然尖刺(loss spike)、数值溢出变 NaN、某个节点掉线、数据里混了脏样本。能不能把训练"稳稳跑完",是大规模预训练岗的底线能力,比"架构多新"更被雇主看重。
anlog
8 个月前
浮点数
·
nan
stm32在mdk编程时使用c语言如何判断一个浮点数是不是nan
在STM32的MDK(Keil)环境中,判断浮点数是否为NaN有以下几种方法:推荐使用isnan()函数,它是C标准库的一部分,可移植性好
繁星璀璨G
2 年前
开发语言
·
c++
·
算法
·
stl
·
常用数学函数
·
nan
C++11标准模板(STL)- 常用数学函数 - 宏常量 - 求值得到float类型的安静NaN(NAN)
定义于头文件 <math.h>#define NAN /*implementation defined*/
我是有底线的