【机器学习300问】64、简写出常见的激活函数及其导数?

在机器学习特别是深度学习中,激活函数是用于增加模型的非线性特性。对于一个给定的输入信号,激活函数定义了输出信号的形式。以下是一些常见的激活函数及其导数:

一、Sigmoid函数

函数

导数

二、Tanh双曲正切函数

函数

导数

三、ReLU线性整流单元函数

函数

导数

ReLU函数在处导数不明确是因为实际使用中通常不会发生计算问题,并且在实现时通常会返回0或1。

四、Leaky ReLU函数

函数

其中α是一个小常数

导数

五、Softmax函数

函数(对第i个输入)

导数(对第i个输入)

Softmax函数的导数较为复杂,这里的表述为了简单化并未展现交叉项。在实际计算梯度时,需要考虑Softmax输出之间的相互作用。对于其他输入,导数会涉及到Softmax输出的相互关系。

相关推荐
f6m274dww2cmd13 分钟前
拆一个类目第一的20个曝光词:43% 的搜索量来自第二页
人工智能
RobinDevNotes38 分钟前
24GB Mac 做数字人:声音放本地,画面租云端
人工智能·python·macos·开发工具
龙腾AI白云1 小时前
数字孪生与计算机视觉:让机器看懂现场
大数据·数据库·机器学习·知识图谱·pygame
user4465117917911 小时前
Agent 也能「过安检」:AgentScope 权限系统设计拆解
人工智能
烟小栀2 小时前
Windows下的深度学习环境配置参考及配置教程
人工智能
tellmewhoisi2 小时前
深度学习0:数学知识:最大似然推导过程
人工智能·深度学习·概率论
oil欧哟2 小时前
从产品经理视角拆解 DeepSeek Super-agent:双层路由与异步调度架构
人工智能
张张123y2 小时前
个人助手型 Agent 的六个工程细节:Hermes 与 OpenClaw 的审批、委派、上下文与调度
网络·人工智能·开源·后端开发·ai agent
Dawson Zhu3 小时前
【模型量化⑦】W4A8与GPTQ-Int4:极限压缩与MLC-LLM部署实战
人工智能·语言模型·架构·aigc·agi
千寻技术帮3 小时前
50055_基于AI的互帮互助小程序(源码+文档+数据库脚本+部署教程)
数据库·人工智能·小程序·毕业设计·springboot·课程设计