【python与机器学习2】激活函数

目录

[1 什么是激活函数? activation function](#1 什么是激活函数? activation function)

[1.1 阈值](#1.1 阈值)

[1.2 激活函数a(x) ,包含偏置值θ](#1.2 激活函数a(x) ,包含偏置值θ)

[1.3 激活函数a(x) ,包含偏置值b](#1.3 激活函数a(x) ,包含偏置值b)

[2 激活函数1: 单位阶跃函数](#2 激活函数1: 单位阶跃函数)

[2.1 函数形式](#2.1 函数形式)

[2.2 函数图形](#2.2 函数图形)

[2.3 函数特点](#2.3 函数特点)

[2.4 代码实现这个 单位阶跃函数](#2.4 代码实现这个 单位阶跃函数)

[3 激活函数2 sigmoid函数](#3 激活函数2 sigmoid函数)

[3.1 函数形式](#3.1 函数形式)

[3.2 函数图形](#3.2 函数图形)

[3.3 函数特点](#3.3 函数特点)

[3.3.1 是一个连续函数,且是一个渐变的曲线](#3.3.1 是一个连续函数,且是一个渐变的曲线)

[3.3.2 是连续区间的[0,1] , 可以天然等价视为概率!](#3.3.2 是连续区间的[0,1] , 可以天然等价视为概率!)

[3.3.3 计算方便,求导数方便,](#3.3.3 计算方便,求导数方便,)

[3.4 代码实现](#3.4 代码实现)

[3.4.1 sigmoid函数的实现,和 跃迁函数 对比](#3.4.1 sigmoid函数的实现,和 跃迁函数 对比)

[3.4.2 容易犯的错误](#3.4.2 容易犯的错误)

[3.4.3 标准函数代码写法](#3.4.3 标准函数代码写法)


1 什么是激活函数? activation function

一般是神经网络/ 感知机 用到的判断 神经元是否被激活的函数

1.1 阈值

  • 阈值判断
  • 阈值θ 太高神经容易被激活,很容易兴奋
  • 阈值θ 太低神经不容易被激活,不够敏感
  • if/当 w1x1+w2x2+w3x3+.....<θ 不能激活
  • if/当 w1x1+w2x2+w3x3+.....>=θ 才能激活
  • 因此 w1x1+w2x2+w3x3+.....=θ 时,就是刚好可以激活的阈值

1.2 激活函数a(x) ,包含偏置值θ

  • y=a(w1x1+w2x2+w3x3+.....-θ)
  • y=a(w,x,θ)
  • x 是输入的多个信息,w是每个信息的权重,θ是判断是否激活的阈值
  • a(x) 就是激活函数

1.3 激活函数a(x) ,包含偏置值b

  • y=a(w1x1+w2x2+w3x3+.....+b)
  • θ是判断是否激活的阈值 变成了偏置值b

2 激活函数1: 单位阶跃函数

2.1 函数形式

函数形式 y=f(x)

  • 可以说是 分段函数,或 阶跃函数/单位阶跃函数
  • f(x)=0, if x<0
  • f(x)=1, if x>=0

2.2 函数图形

  • 从图形上看,
  • 可以说是 分段函数
  • 或 阶跃函数/单位阶跃函数

2.3 函数特点

  • 设置函数的结果在0-1之间,
  • 天生的符合概率的[0,1] 设计
  • 一个最简单的函数,分段函数图形是直的,但是上下限也是[0,1]

2.4 代码实现这个 单位阶跃函数

python 复制代码
import numpy as np
import matplotlib.pyplot as plt

plt.figure()
X=np.linspace(-5,5,100)
Y=[]
for x in X:
    if x<0:
        y=-1
        Y.append(y)
    elif x>=0:
        y=1
        Y.append(y)
plt.plot(X,Y)
plt.show

3 激活函数2 sigmoid函数

sigmod函数比较经典

3.1 函数形式

  • sigmod函数形式,y=f(x)
  • f(x)=1/(1+e^(-x))
  • f(x)=1/(1+np.exp(-X)) #python内调用 numpy写法

3.2 函数图形

  • 函数图形是连续的
  • 函数的范围是[0,1]
  • 完全可以假设看作一种概率分布曲线pdf

3.3 函数特点

3.3.1 是一个连续函数,且是一个渐变的曲线

  • 一个比较连续的
  • sigmod函数图形是曲线

3.3.2 是连续区间的[0,1] , 可以天然等价视为概率!

  • 上下限也是[0,1]
  • 并且在[0,1] 上是连续的,可以天然视为概率

3.3.3 计算方便,求导数方便,

  • 其中 (e^(-x))' = -e^(-x) ,可以通过复合函数求导推出
  • 为了不同情况下计算方便
  • 因为 e^(-x)' =
  • f(x)=1/(1+e^(-x))

3.4 代码实现

3.4.1 sigmoid函数的实现,和 跃迁函数 对比

python 复制代码
import numpy as np
import matplotlib.pyplot as plt

plt.figure()
X=np.linspace(-5,5,100)
Y=[]
y2=1/(1+np.exp(-X))  # 注意写法需要用数组X,用x是错的  y2=1/(1+np.exp(-x))
for x in X:
    if x<0:
        y=-1
        Y.append(y)
    elif x>=0:
        y=1
        Y.append(y)
plt.plot(X,Y)
plt.plot(X,y2)
plt.show

3.4.2 容易犯的错误

复制代码
ValueError: x and y must have same first dimension, but have shapes (100,) and (1,)
  • 因为 X是数组,维度是1,而x只是代表数组X里的某个变量,维度是100
  • y需要和X对应,而不能和x对应

3.4.3 标准函数代码写法

  • 先def sigmoid() 函数,return 1/(1+np.exp(-x))
  • 然后y 或者f(x)调用 sigmoid函数
python 复制代码
def sigmoid(x):
    return 1/(1+np.exp(-x))

plt.figure()
X=np.linspace(-10,10,100)
y2=sigmoid(X)
# y2=1/(1-np.exp(-x))  #这样不行


plt.plot(X,y2)
plt.show

激活函数2,另外一种

还有的函数,分段函数图形是直的,但是上下限也是[-1,1]

f(x)=1, if x>0

f(x)=-1, if x<=0

类似的例子比如

1/2Σi=1~n(Yi-f(x)i)^2 ,加上1/2 就是为了微分结果导数更简单

激活函数3

如果有2个输出结果,就不适合 感知机的模式了?

最原始的

最小二乘法

最小误差之和

相关推荐
Wilber的技术分享9 分钟前
【机器学习实战笔记 14】集成学习:XGBoost算法(一) 原理简介与快速应用
人工智能·笔记·算法·随机森林·机器学习·集成学习·xgboost
198914 分钟前
【零基础学AI】第26讲:循环神经网络(RNN)与LSTM - 文本生成
人工智能·python·rnn·神经网络·机器学习·tensorflow·lstm
burg_xun29 分钟前
【Vibe Coding 实战】我如何用 AI 把一张草图变成了能跑的应用
人工智能
酌沧1 小时前
AI做美观PPT:3步流程+工具测评+避坑指南
人工智能·powerpoint
狂师1 小时前
啥是AI Agent!2025年值得推荐入坑AI Agent的五大工具框架!(新手科普篇)
人工智能·后端·程序员
星辰大海的精灵1 小时前
使用Docker和Kubernetes部署机器学习模型
人工智能·后端·架构
victory04311 小时前
SpiceMix enables integrative single-cell spatial modeling of cell identity 文章解读
人工智能·深度学习
新智元1 小时前
半数清华,8 位华人 AI 天团集体投奔 Meta!奥特曼:砸钱抢人不如培养死忠
人工智能·openai
新智元1 小时前
全球顶尖 CS 论文惊爆 AI「好评密令」!哥大等 14 所高校卷入,学术圈炸锅
人工智能·openai
l0sgAi1 小时前
vLLM在RTX50系显卡上部署大模型-使用wsl2
linux·人工智能