深度学习|3.6 激活函数 3.7 为什么需要非线性激活函数

激活函数

主要有sigmoid函数、tanh函数、relu函数和leaky relu函数

tanh函数相比sigmoid函数是具有优势的,因为tanh函数使得输出值的平均值为0,而sigmoid函数使得输出值的平均值为1/2,对下一层来说tanh输出的0更好进行处理。

激活函数tanh和sigmoid函数的不同和缺点

两者在趋近正负无穷时,函数值的变化量基本忽略不计。

relu函数

relu函数的缺点是,当x小于0时,函数值为一个常数,对应地,其导数为0。

相关推荐
高工智能汽车14 分钟前
出圈or出局?AI汽车“急速驶来”,市场淘汰赛一触即发
人工智能·汽车
Qdgr_16 分钟前
传统报警难题频现,安全运行隐患重重
大数据·人工智能·安全
rit843249921 分钟前
MATLAB基于voronoi生成三维圆柱形
开发语言·人工智能·matlab
xuedaobian33 分钟前
AI IDE里的 context 工程
人工智能·aigc·visual studio code
PyAIExplorer1 小时前
图像处理中的霍夫变换:直线检测与圆检测
图像处理·人工智能
格林威1 小时前
Baumer工业相机堡盟工业相机如何通过DeepOCR模型识别判断数值和字符串的范围和相似度(C#)
开发语言·人工智能·python·数码相机·计算机视觉·c#·视觉检测
不爱学英文的码字机器2 小时前
Claude Code: Best practices for agentic coding
人工智能
代码老y2 小时前
数据挖掘:从理论到实践的深度探索
人工智能·数据挖掘
九章云极AladdinEdu2 小时前
冷冻电镜重构的GPU加速破局:从Relion到CryoSPARC的并行重构算法
人工智能·pytorch·深度学习·机器学习·自然语言处理·架构·gpu算力
HMS Core2 小时前
用AI重塑游戏体验:《诛仙2》携手HarmonyOS SDK实现性能与功耗双赢
人工智能·游戏·harmonyos