技术栈

nan

thesky123456
11 天前
大模型·nan·混合精度·训练稳定性·容错训练·loss spike·bf16
27届大模型面试准备(五十):大模型训练稳定性与容错工程——从 loss spike 到弹性训练前面几十篇把模型结构、后训练(A16)、分布式训练(A17)、量化(A19)、推理优化(A25/A30)讲透了。但有一个工程现实常被论文忽略:大模型训练动辄上千卡、跑几周,过程中一定会出事——loss 突然尖刺(loss spike)、数值溢出变 NaN、某个节点掉线、数据里混了脏样本。能不能把训练"稳稳跑完",是大规模预训练岗的底线能力,比"架构多新"更被雇主看重。
anlog
8 个月前
浮点数·nan
stm32在mdk编程时使用c语言如何判断一个浮点数是不是nan在STM32的MDK(Keil)环境中,判断浮点数是否为NaN有以下几种方法:推荐使用isnan()函数,它是C标准库的一部分,可移植性好
繁星璀璨G
2 年前
开发语言·c++·算法·stl·常用数学函数·nan
C++11标准模板(STL)- 常用数学函数 - 宏常量 - 求值得到float类型的安静NaN(NAN)定义于头文件 <math.h>#define NAN /*implementation defined*/
我是有底线的