【1】引言
前序学习进程中，已经了解到神经网络的实际运算过程找那个，会使用激活函数。相关文章链接包括且不限于：
python学智能算法（六）|神经网络算法：BP神经网络算法入门-CSDN博客
在此基础上，本篇文章集中学习一些常见的激活函数。
【2】激活函数
【2.1】线性激活函数
线性激活函数为：
线性激活函数对应的代码为：
python
import numpy as np #引入numpy模块
import matplotlib.pyplot as plt #引入matplotlib模块
t=np.linspace(-5,5,100) #定义自变量
y=t #定义因变量
plt.plot(t,y,label='y=x') #绘图
plt.title('Y=X') #设置图名
plt.xlabel('X') #设置X轴名称
plt.ylabel('Y') #设置Y轴名称
plt.legend() #显示标签
plt.show() #显示图像代码运行后的图像为：
++图1 线性激活函数++
【2.2】阶跃激活函数
阶跃激活函数为：
需要注意的是，这里随机取了一个判断标准0.5，实际情况可能是大于等于任何数。
阶跃激活函数对应的代码为：
python
import numpy as np #引入numpy模块
import matplotlib.pyplot as plt #引入matplotlib模块
# 设置matplotlib支持中文显示
plt.rcParams['font.sans-serif'] = ['SimHei'] # 使用黑体字体
plt.rcParams['axes.unicode_minus'] = False # 解决负号显示为方块的问题
t=np.linspace(-5,5,100) #定义自变量
y1=[] #定义列表y1
# 当自变量大于判断开关时，列表里添加1，否则添加0
for i in t:
if i>=0.5:
y1.append(1)
else:
y1.append(0)
# 把y1从列表转化为数组，这样就能和t一一对应
y1=np.array(y1)
plt.plot(t,y1,label='y1') #绘图
plt.title('阶跃函数') #设置图名
plt.xlabel('X') #设置X轴名称
plt.ylabel('Y') #设置Y轴名称
plt.legend() #显示标签
plt.show() #显示图像代码运行后的图像为：
++图2 阶跃激活函数++
【2.3】S型激活函数
S型激活函数为：
S型激活函数对应的代码为：
python
import numpy as np #引入numpy模块
import matplotlib.pyplot as plt #引入matplotlib模块
# 设置matplotlib支持中文显示
plt.rcParams['font.sans-serif'] = ['SimHei'] # 使用黑体字体
plt.rcParams['axes.unicode_minus'] = False # 解决负号显示为方块的问题
t=np.linspace(-5,5,100) #定义自变量
y2=1/(1+np.exp(-t)) #定义因变量
plt.plot(t,y2,label='S型函数') #绘图
plt.title('S型激活函数') #设置图名
plt.xlabel('X') #设置X轴名称
plt.ylabel('Y') #设置Y轴名称
plt.legend() #显示标签
plt.show() #显示图像代码运行后的图像为：
++图3 S型激活函数++
【2.4】双曲正切激活函数
双曲正切激活函数为：
双曲正切激活函数代码为：
python
import numpy as np #引入numpy模块
import matplotlib.pyplot as plt #引入matplotlib模块
# 设置matplotlib支持中文显示
plt.rcParams['font.sans-serif'] = ['SimHei'] # 使用黑体字体
plt.rcParams['axes.unicode_minus'] = False # 解决负号显示为方块的问题
t=np.linspace(-5,5,100) #定义自变量
y3=np.tanh(t) #定义因变量
plt.plot(t,y3,label='双曲正切函数') #绘图
plt.title('双曲正切激活函数') #设置图名
plt.xlabel('X') #设置X轴名称
plt.ylabel('Y') #设置Y轴名称
plt.legend() #显示标签
plt.show() #显示图像代码运行后的图像为：
++图4 双曲正切激活函数++
【2.5】修正线性单元ReLu激活函数
修正线性单元ReLu激活函数为：
修正线性单元ReLu激活函数代码为：
python
import numpy as np #引入numpy模块
import matplotlib.pyplot as plt #引入matplotlib模块
# 设置matplotlib支持中文显示
plt.rcParams['font.sans-serif'] = ['SimHei'] # 使用黑体字体
plt.rcParams['axes.unicode_minus'] = False # 解决负号显示为方块的问题
t=np.linspace(-5,5,100) #定义自变量
#定义修正线性单元ReLu激活函数
def ReLu(x):
return np.maximum(0,x) #大于0取x,小于等于0取0
y4=ReLu(t) #定义因变量
plt.plot(t,y4,label='修正线性单元ReLu函数') #绘图
plt.title('修正线性单元ReLu激活函数') #设置图名
plt.xlabel('X') #设置X轴名称
plt.ylabel('Y') #设置Y轴名称
plt.legend() #显示标签
plt.show() #显示图像代码运行后的图像为：
++图5 修正线性单元ReLu激活函数++
【2.6】Softmax激活函数
Softmax激活函数为：
Softmax激活函数代码为：
python
import numpy as np #引入numpy模块
import matplotlib.pyplot as plt #引入matplotlib模块
# 设置matplotlib支持中文显示
plt.rcParams['font.sans-serif'] = ['SimHei'] # 使用黑体字体
plt.rcParams['axes.unicode_minus'] = False # 解决负号显示为方块的问题
# 定义Softmax函数
def softmax(x):
"""
计算输入向量x的Softmax值
:param x: 输入的实数向量
:return: Softmax变换后的概率分布向量
"""
exp_x = np.exp(x) #计算当前值
return exp_x / np.sum(exp_x, axis=0) #计算当前值所占的比例
# 生成示例输入数据
x = np.linspace(-10, 10, 100)
# 模拟多个神经元的输入
# 每一次的组成都是三个变量
inputs = np.vstack([x, 0.5 * x, 0.2 * x])
# 计算Softmax输出
# Softmax计算三个变量各自所占的比例
outputs = softmax(inputs)
# 绘制Softmax变化规律图
plt.figure(figsize=(10, 6))
for i in range(outputs.shape[0]):
plt.plot(x, outputs[i], label=f'变量 {i+1}所占比例')
plt.title('Softmax激活函数') #设置图名
plt.xlabel('X') #设置X轴名称
plt.ylabel('Y') #设置Y轴名称
plt.legend() #显示标签
plt.grid(True) #显示网格
plt.show() #显示图像代码运行后的图像为：
++图6 Softmax激活函数++
Softmax激活函数实际上代表了各个输入变量所占的比例，每个X轴取值上，三个变量所占的比例综合恒为1。
为了突出对比便于理解，把除了Softmax函数以外的函数全部画到一起：
python
import numpy as np #引入numpy模块
import matplotlib.pyplot as plt #引入matplotlib模块
# 设置matplotlib支持中文显示
plt.rcParams['font.sans-serif'] = ['SimHei'] # 使用黑体字体
plt.rcParams['axes.unicode_minus'] = False # 解决负号显示为方块的问题
t=np.linspace(-5,5,100) #定义自变量
y=t
y1=[]
for i in t:
if i>=0.5:
y1.append(1)
else:
y1.append(0)
y1=np.array(y1)
y2=1/(1+np.exp(-t))
y3=np.tanh(t)
def ReLu(x):
return np.maximum(0,x)
y4=ReLu(t)
plt.plot(t,y,label='线性函数')
plt.plot(t,y1,label='阶跃函数')
plt.plot(t,y2,label='S型函数')
plt.plot(t,y3,label='双曲正切函数')
plt.plot(t,y4,label='修正线性单元ReLu函数')
plt.title('激活函数')
plt.xlabel('X') #设置X轴名称
plt.ylabel('Y') #设置Y轴名称
plt.legend() #显示标签
plt.show() #显示图像获得的图像为：
++图7 Softmax以外激活函数对比++
【3】总结
学习了常用的激活函数，通过python对激活函数进行了绘制。