神经网络的常用激活函数

激活函数

Sigmoid

曲线图如下:

实现方法:

python 复制代码
import tensorflow as tf
import matplotlib.pyplot as plt
import numpy as np
#定义x的取值范围
x = np.linspace(-10,10,100)
#直接使用tensorflow实现
y = tf.nn.sigmoid(x)
#绘图
plt.plot(x,y)
plt.grid()
plt.show()

Tanh(双曲正切曲线)

实现方法:

python 复制代码
import tensorflow as tf
import matplotlib.pyplot as plt
import numpy as np
#定义x的取值范围
x = np.linspace(-10,10,100)
#直接使用tensorflow实现
y = tf.nn.tanh(x)
#绘图
plt.plot(x,y)
plt.grid()
plt.show()

RELU


实现方法:

python 复制代码
import tensorflow as tf
import matplotlib.pyplot as plt
import numpy as np
#定义x的取值范围
x = np.linspace(-10,10,100)
#直接使用tensorflow实现
y = tf.nn.relu(x)
#绘图
plt.plot(x,y)
plt.grid()
plt.show()

LeakyRelu

实现方法:

python 复制代码
import tensorflow as tf
import matplotlib.pyplot as plt
import numpy as np
#定义x的取值范围
x = np.linspace(-10,10,100)
#直接使用tensorflow实现
y = tf.nn.leaky_relu(x)
#绘图
plt.plot(x,y)
plt.grid()
plt.show()

softmax

实现方法:

python 复制代码
import tensorflow as tf
import matplotlib.pyplot as plt
x = tf.constant([0.2,0.02,0.15,1.3,0.5,0.06,1.1,0.05,3.75])
y = tf.nn.softmax(x)
plt.plot(x,y)
plt.grid()
plt.show()
相关推荐
落樱弥城2 分钟前
图像处理——边缘检测
图像处理·人工智能·计算机视觉
IT古董2 分钟前
【漫话机器学习系列】224.双曲正切激活函数(Hyperbolic Tangent Activation Function)
人工智能·机器学习
Allen Bright4 分钟前
【机器学习-线性回归-3】深入浅出:简单线性回归的概念、原理与实现
人工智能·机器学习·线性回归
我不是小upper9 分钟前
数据预处理之特征选择 (Feature Selection)
人工智能·深度学习·机器学习
没有不重的名么16 分钟前
在Pytorch中使用Tensorboard可视化训练过程
人工智能·pytorch·python
小lo想吃棒棒糖19 分钟前
当自动驾驶遇上“安全驾校”:NVIDIA如何用技术给无人驾驶赋能?
人工智能·安全·自动驾驶
余弦的倒数19 分钟前
计算机视觉各类任务评价指标详解
人工智能·计算机视觉
小彭律师41 分钟前
SinSR模型剪枝实验报告
人工智能·算法·剪枝
何双新1 小时前
L2-1、打造稳定可控的 AI 输出 —— Prompt 模板与格式控制
人工智能·prompt
意.远1 小时前
PyTorch卷积层填充(Padding)与步幅(Stride)详解及代码示例
人工智能·pytorch·python·深度学习