深度学习|3.6 激活函数 3.7 为什么需要非线性激活函数

激活函数

主要有sigmoid函数、tanh函数、relu函数和leaky relu函数

tanh函数相比sigmoid函数是具有优势的,因为tanh函数使得输出值的平均值为0,而sigmoid函数使得输出值的平均值为1/2,对下一层来说tanh输出的0更好进行处理。

激活函数tanh和sigmoid函数的不同和缺点

两者在趋近正负无穷时,函数值的变化量基本忽略不计。

relu函数

relu函数的缺点是,当x小于0时,函数值为一个常数,对应地,其导数为0。

相关推荐
qiyue7713 分钟前
AI编程专栏(五)-提示词知识-通用提示结构或框架
人工智能·ai编程
小塵17 分钟前
【DeepSeek 聊天】五分钟部署本地 DeepSeek
人工智能·后端·deepseek
clz131452121 分钟前
二,神经网络
人工智能·深度学习·神经网络
陈敬雷-充电了么-CEO兼CTO41 分钟前
主流大模型Agent框架 AutoGPT详解
人工智能·python·gpt·ai·chatgpt·nlp·aigc
移远通信43 分钟前
从端侧AI到全链路解决方案:移远通信如何重塑AloT产业?
人工智能
美狐美颜SDK开放平台1 小时前
未来已来:美颜SDK如何通过深度学习实现个性化美颜形象?
人工智能·深度学习·美颜sdk·直播美颜sdk·视频美颜sdk·直播美颜工具·美颜api
新智元1 小时前
谢赛宁团队论文爆雷,暗藏 AI 好评提示震碎学术圈!本人急发长文反思
人工智能·openai
新智元1 小时前
老黄封神!英伟达市值首破4万亿美元,全球第一
人工智能·openai
拓端研究室1 小时前
专题:2025母婴行业洞察报告|附60+份报告PDF汇总下载
开发语言·人工智能·python
ice851 小时前
LLM流式输出实现
前端·人工智能·面试