神经网络的常用激活函数

激活函数

Sigmoid

曲线图如下:

实现方法:

python 复制代码
import tensorflow as tf
import matplotlib.pyplot as plt
import numpy as np
#定义x的取值范围
x = np.linspace(-10,10,100)
#直接使用tensorflow实现
y = tf.nn.sigmoid(x)
#绘图
plt.plot(x,y)
plt.grid()
plt.show()

Tanh(双曲正切曲线)

实现方法:

python 复制代码
import tensorflow as tf
import matplotlib.pyplot as plt
import numpy as np
#定义x的取值范围
x = np.linspace(-10,10,100)
#直接使用tensorflow实现
y = tf.nn.tanh(x)
#绘图
plt.plot(x,y)
plt.grid()
plt.show()

RELU


实现方法:

python 复制代码
import tensorflow as tf
import matplotlib.pyplot as plt
import numpy as np
#定义x的取值范围
x = np.linspace(-10,10,100)
#直接使用tensorflow实现
y = tf.nn.relu(x)
#绘图
plt.plot(x,y)
plt.grid()
plt.show()

LeakyRelu

实现方法:

python 复制代码
import tensorflow as tf
import matplotlib.pyplot as plt
import numpy as np
#定义x的取值范围
x = np.linspace(-10,10,100)
#直接使用tensorflow实现
y = tf.nn.leaky_relu(x)
#绘图
plt.plot(x,y)
plt.grid()
plt.show()

softmax

实现方法:

python 复制代码
import tensorflow as tf
import matplotlib.pyplot as plt
x = tf.constant([0.2,0.02,0.15,1.3,0.5,0.06,1.1,0.05,3.75])
y = tf.nn.softmax(x)
plt.plot(x,y)
plt.grid()
plt.show()
相关推荐
静心问道10 分钟前
TrOCR: 基于Transformer的光学字符识别方法,使用预训练模型
人工智能·深度学习·transformer·多模态
说私域12 分钟前
基于开源AI大模型、AI智能名片与S2B2C商城小程序源码的用户价值引导与核心用户沉淀策略研究
人工智能·开源
亲持红叶14 分钟前
GLU 变种:ReGLU 、 GEGLU 、 SwiGLU
人工智能·深度学习·神经网络·激活函数
说私域14 分钟前
线上协同办公时代:以开源AI大模型等工具培养网感,拥抱职业变革
人工智能·开源
群联云防护小杜15 分钟前
深度隐匿源IP:高防+群联AI云防护防绕过实战
运维·服务器·前端·网络·人工智能·网络协议·tcp/ip
摘星编程21 分钟前
构建智能客服Agent:从需求分析到生产部署
人工智能·需求分析·智能客服·agent开发·生产部署
不爱学习的YY酱24 分钟前
信息检索革命:Perplexica+cpolar打造你的专属智能搜索中枢
人工智能
whaosoft-1432 小时前
51c自动驾驶~合集7
人工智能
刘晓倩5 小时前
Coze智能体开发实战-多Agent综合实战
人工智能·coze
石迹耿千秋6 小时前
迁移学习--基于torchvision中VGG16模型的实战
人工智能·pytorch·机器学习·迁移学习