归一化:激活函数

激活函数.h

cpp 复制代码
// 激活函数.h ------ 激活函数(SiLU/Sigmoid/Softplus)声明
// 用途:门控 RMSNorm 与 SwiGLU 等算子依赖的标量激活函数,以及逐元素向量版本

#pragma once

// 引入基础类型(浮点别名)
#include "公共/基础定义.h"

// 激活SiLU:Sigmoid Linear Unit(Swish 的 β=1 特例)
// 公式:$$ \mathrm{SiLU}(x) = \frac{x}{1 + e^{-x}} $$
// 纯文本:SiLU(x) = x / (1 + e^(-x))
// 含义:x 接近 0 时非线性过渡,负值渐近于 0(非饱和),正值近似恒等;
//       用于 SwiGLU 的门控分支与门控 RMSNorm 的门控因子
浮点 激活SiLU(浮点 x);

// 激活Sigmoid:逻辑斯蒂函数
// 公式:$$ \sigma(x) = \frac{1}{1 + e^{-x}} $$
// 纯文本:Sigmoid(x) = 1 / (1 + e^(-x))
// 含义:输出压缩到 (0,1),用于概率与门控信号的平滑映射
浮点 激活Sigmoid(浮点 x);

// 激活Softplus:平滑 ReLU(ReLU 的可微近似)
// 公式:$$ \mathrm{softplus}(x) = \ln(1 + e^{x}) $$
// 纯文本:Softplus(x) = ln(1 + e^x)
// 数值稳定实现:x > 20 ? x : log1p(exp(x)),避免大 x 时 exp(x) 上溢
浮点 激活Softplus(浮点 x);

// 激活SiLU向量:对一段向量逐元素施加 激活SiLU
// 参数:输入 = 源向量起点;输出 = 目标向量起点(可与 输入 相同实现就地,调用方传独立缓冲即可)
//       数量 = 要处理的元素个数
void 激活SiLU向量(const float* 输入, float* 输出, size_t 数量);

激活函数.cpp

cpp 复制代码
// 激活函数.cpp ------ 激活函数(SiLU/Sigmoid/Softplus)实现
// 用途:为归一化算子与后续 SwiGLU 提供标量与向量激活函数

#include "内核/归一化/激活函数.h"

// 引入标准头:指数 exp 与对数 log1p(数值稳定 Softplus)
#include <cmath>

// 激活SiLU:Sigmoid Linear Unit
// 公式:SiLU(x) = x / (1 + e^(-x))
// 实现:直接按公式用 exp 计算,x 为负值时 exp(-x) 增大但仍在浮点范围内
浮点 激活SiLU(浮点 x) {
    return x / (1.0f + std::exp(-x));
}

// 激活Sigmoid:逻辑斯蒂函数
// 公式:Sigmoid(x) = 1 / (1 + e^(-x))
浮点 激活Sigmoid(浮点 x) {
    return 1.0f / (1.0f + std::exp(-x));
}

// 激活Softplus:平滑 ReLU
// 公式:Softplus(x) = ln(1 + e^x)
// 数值稳定:x > 20 时 e^x 已远超浮点精度,直接返回 x(ln(e^x)=x),避免上溢
浮点 激活Softplus(浮点 x) {
    if (x > 20.0f) {
        return x;
    }
    // log1p(y) = ln(1+y),比 log(1+y) 更精确(避免 1+e^x 灾难性消减)
    return static_cast<浮点>(std::log1p(std::exp(x)));
}

// 激活SiLU向量:逐元素施加 激活SiLU
void 激活SiLU向量(const float* 输入, float* 输出, size_t 数量) {
    for (size_t i = 0; i < 数量; ++i) {
        输出[i] = 激活SiLU(输入[i]);
    }
}
相关推荐
独隅8 小时前
Cann-Samples 实战应用与场景落地指南
人工智能·cann·cann-samples
阿里云大数据AI技术8 小时前
让 Agent 学会诊断 Elasticsearch:一套证据绑定的智能运维方法论
人工智能
十有八七8 小时前
手搓 Agent(四):长点记性——上下文满了怎么办,怎么记住上一次
前端·人工智能·后端
米小虾8 小时前
Jev 拆解:不写字、只判断,一个「决策模型」如何接管 LLM 最贵的那一步
人工智能·agent
数字新视界9 小时前
全国产化动环监控平台在机房智能化管理中的应用探索
大数据·人工智能·数据中心·机房管理·模块化机房
laoyeye8319 小时前
手写 vLLM 分页 KV Cache(三):引用计数、写时复制(CoW)与前缀缓存
人工智能·github
小码哥0689 小时前
AI+能源管理系统如何用于工厂?云捷EMS能源管理系统功能与界面详解
人工智能·能源·能源管理系统·能耗监测·能源管理系统源码·企业能源管理系统·ai+能源管理系统
墨林陌9 小时前
AI 热点日报(2026-11-19):Anthropic 全球史上最大 IPO 上市,谷歌发布 Gemini 4 Neon
人工智能
用户95179422510299 小时前
Agent Harness 工程(I5):权限与沙箱——让否决改变控制流
llm·agent