学习笔记:机器学习中的数学原理(二)

  1. 机器学习中的常用函数

logistic函数(sigmoid函数):非线性激活函数,将R区间映射到(0,1)区间

ReLU函数:非线性激活函数,简单可以写作max(0,x),在0处不可导,但是可以人为定义其导数。优点:缓解了sigmoid函数梯度消失的问题,单侧抑制符合生物神经元特征,带来了稀疏性(dropout),缓解了过拟合。

缺点:神经元死亡,权重无法更新,且不可逆转,解决办法是设置较小的学习率。

softplus函数:非线性激活函数,可以看作ReLU函数的光滑近似,该函数的导数为logistic函数

  1. 线性和非线性的区别

线性函数:一种线性映射,在二维空间中是一条直线,满足可加性和齐次性

非线性函数:一种非线性映射,在二维空间中不是一条直线(曲线或折线),通常不满足可加性和齐次性

相关推荐
叼烟扛炮21 小时前
[LangChain] 学习笔记(09):工具(Tool)定义与调用闭环 · 理论+实战完整版
笔记·学习·langchain
个 人 练 习 生1 天前
C++:从零基础到深入了解vector的使用
开发语言·c++·经验分享·学习·程序人生·stl
Rabitebla1 天前
【Linux操作系统】 文件篇(一):文件描述符与 Linux 文件管理机制
linux·网络·c++·笔记·学习
Flying Bear1 天前
Keithley 2450 SourceMeter源表上位机开发笔记
笔记·单片机·嵌入式硬件
旖旎夜光1 天前
【C++ 基础入门】智能指针:RAII、unique_ptr 与 shared_ptr 循环引用
c++·笔记·学习·智能指针
饮水桶_T1 天前
Python 面向对象(十七)|继承、封装、多态 笔记
数据结构·笔记·算法
星恒随风1 天前
MySQL 从零入门(十):MVCC、Undo Log 与 Read View 详解——InnoDB 如何实现事务隔离?
linux·数据库·笔记·sql·mysql
zdr尽职尽责1 天前
终端工具凭空消失:Codex + GPT-6 的一次完整排障复盘
数据库·gpt·学习·ai
蒸蒸yyyyzwd1 天前
计算机网络后端面试错题
笔记·学习