学习笔记:机器学习中的数学原理(二)

  1. 机器学习中的常用函数

logistic函数(sigmoid函数):非线性激活函数,将R区间映射到(0,1)区间

ReLU函数:非线性激活函数,简单可以写作max(0,x),在0处不可导,但是可以人为定义其导数。优点:缓解了sigmoid函数梯度消失的问题,单侧抑制符合生物神经元特征,带来了稀疏性(dropout),缓解了过拟合。

缺点:神经元死亡,权重无法更新,且不可逆转,解决办法是设置较小的学习率。

softplus函数:非线性激活函数,可以看作ReLU函数的光滑近似,该函数的导数为logistic函数

  1. 线性和非线性的区别

线性函数:一种线性映射,在二维空间中是一条直线,满足可加性和齐次性

非线性函数:一种非线性映射,在二维空间中不是一条直线(曲线或折线),通常不满足可加性和齐次性

相关推荐
im_AMBER2 小时前
学习日志19 python
python·学习
NeoFii5 小时前
Day 22: 复习
机器学习
_Kayo_6 小时前
VUE2 学习笔记6 vue数据监测原理
vue.js·笔记·学习
chenchihwen6 小时前
大模型应用班-第2课 DeepSeek使用与提示词工程课程重点 学习ollama 安装 用deepseek-r1:1.5b 分析PDF 内容
人工智能·学习
超浪的晨7 小时前
Java UDP 通信详解:从基础到实战,彻底掌握无连接网络编程
java·开发语言·后端·学习·个人开发
巫婆理发2227 小时前
强化学习(第三课第三周)
python·机器学习·深度神经网络
Blossom.1188 小时前
基于深度学习的图像分类:使用Capsule Networks实现高效分类
人工智能·python·深度学习·神经网络·机器学习·分类·数据挖掘
使二颗心免于哀伤8 小时前
《设计模式之禅》笔记摘录 - 10.装饰模式
笔记·设计模式
悠哉悠哉愿意8 小时前
【电赛学习笔记】MaxiCAM 项目实践——与单片机的串口通信
笔记·python·单片机·嵌入式硬件·学习·视觉检测
快乐肚皮9 小时前
ZooKeeper学习专栏(五):Java客户端开发(原生API)详解
学习·zookeeper·java-zookeeper