机器学习常见激活函数

Sigmoid 函数

常用于二分类问题

优点:

函数的值域在(0,1)之间,可将任意实数映射到0到1的区间,常被用于将输出解释为概率。

将很大范围内的输入特征值压缩到0~1之间,使得在深层网络中可以保持数据幅度不会出现较大的变化,而Relu函数则不会对数据的幅度作出约束;

缺点:

当输入非常大或非常小的时候,输出基本为常数,即变化非常小,进而导致梯度接近于0;

梯度可能会过早消失,进而导致收敛速度较慢,例如与Tanh函数相比,其就比sigmoid函数收敛更快,是因为其梯度消失问题较sigmoid函数要轻一些;

softmax

Softmax一般用来作为神经网络的最后一层 ,用于多分类问题的输出。其本质是一种激活函数,将一个数值向量归一化为一个概率分布向量,且各个概率之和为1。

Tanh

Relu(修正线性单元)

相关推荐
哈尔滨张谦蛋8 小时前
兰州大学 · 甘肃省可穿戴装备重点实验室 · 2027年博士招生
人工智能·深度学习
chh56320 小时前
从 BERT 到大模型:让模型从“会接龙”到“会回答
人工智能·深度学习·bert
罗西的思考1 天前
【轻量化复刻大模型 / KIMI K3】Muon 优化器及 训练系统
人工智能·算法·机器学习
Asher11251 天前
电池数据整理复盘:从 MAT 文件到充电曲线
机器学习
龙腾AI白云1 天前
具身智能的空间导航与未知环境探索
大数据·数据库·人工智能·机器学习·知识图谱
汤姆宝库1 天前
RoPE旋转位置编码的实现与长上下文外推
python·深度学习·机器学习
tellmewhoisi1 天前
深度学习0:数学知识:(L1正则化和L2正则化)
人工智能·深度学习
回眸&啤酒鸭1 天前
【回眸】Hy4 模型效果展示与能力评测大纲
大数据·人工智能·机器学习
AI小怪兽1 天前
你的视觉基础模型会说“植物语“吗?面向目标检测的视觉基础模型植物语法
人工智能·深度学习·机器学习