深度学习21:PyTorch:激活函数(Sigmoid,Tanh,ReLU,Softmax)

目录标题

一、Sigmoid函数

python 复制代码
import torch
import matplotlib.pyplot as plt

x = torch.linspace(-10, 10, steps=1000, requires_grad=True)
y = torch.sigmoid(x)

# 画图
fig, ax = plt.subplots(nrows=1, ncols=2, figsize=(12, 4))

# 1. 原函数图像
ax[0].plot(x.data, y.data, "purple")
ax[0].set_title("sigmoid(x)")
# 绘制参考线
ax[0].axhline(y=0.5, color='gray', alpha=0.5, linewidth=1)
ax[0].axhline(y=1, color='gray', alpha=0.5, linewidth=1)

# 图的边框
ax[0].spines['top'].set_visible(False)
ax[0].spines['right'].set_visible(False)
ax[0].spines['left'].set_position('zero')
ax[0].spines['bottom'].set_position('zero')

# 反向传播,计算 x 的梯度
y.sum().backward()

# 2. 导数函数图像
ax[1].plot(x.data, x.grad, "purple")
ax[1].set_title("sigmoid'(x)")

# 图的边框
ax[1].spines['top'].set_visible(False)
ax[1].spines['right'].set_visible(False)
ax[1].spines['left'].set_position('zero')
ax[1].spines['bottom'].set_position('zero')

# plt.show()
plt.savefig('sigmoid_result.png')

二、Tanh函数

python 复制代码
import torch
import matplotlib.pyplot as plt

x = torch.linspace(-5, 5, steps=1000, requires_grad=True)
y = torch.tanh(x)

# 画图
fig, ax = plt.subplots(nrows=1, ncols=2, figsize=(12, 4))

# 1. 原函数图像
ax[0].plot(x.data, y.data, "purple")
ax[0].set_title("tanh(x)")
# 绘制参考线
ax[0].axhline(y=-1, color='gray', alpha=0.5, linewidth=1)
ax[0].axhline(y=1, color='gray', alpha=0.5, linewidth=1)

# 图的边框
ax[0].spines['top'].set_visible(False)
ax[0].spines['right'].set_visible(False)
ax[0].spines['left'].set_position('zero')
ax[0].spines['bottom'].set_position('zero')

# 反向传播,计算 x 的梯度
y.sum().backward()

# 2. 导数函数图像
ax[1].plot(x.data, x.grad, "purple")
ax[1].set_title("tanh'(x)")

#图的边框
ax[1].spines['top'].set_visible(False)
ax[1].spines['right'].set_visible(False)
ax[1].spines['left'].set_position('zero')
ax[1].spines['bottom'].set_position('zero')

# plt.show()
plt.savefig('tanh_result.png')

三、ReLU函数

python 复制代码
import torch
import matplotlib.pyplot as plt

x = torch.linspace(-5, 5, steps=1000, requires_grad=True)
y = torch.relu(x)

# 画图
fig, ax = plt.subplots(nrows=1, ncols=2, figsize=(12, 4))

# 1. 原函数图像
ax[0].plot(x.data, y.data, "purple")
ax[0].set_title("relu(x)")

ax[0].spines['top'].set_visible(False)
ax[0].spines['right'].set_visible(False)
ax[0].spines['left'].set_position('zero')
ax[0].spines['bottom'].set_position('zero')

# 反向传播,计算 x 的梯度
y.sum().backward()

# 2. 导数函数图像
ax[1].plot(x.data, x.grad, "purple")
ax[1].set_title("relu'(x)")

ax[1].spines['top'].set_visible(False)
ax[1].spines['right'].set_visible(False)
ax[1].spines['left'].set_position('zero')
ax[1].spines['bottom'].set_position('zero')

# plt.show()
plt.savefig('relu_result.png')

四、Softmax函数

python 复制代码
import torch

# n * m 3条样本,5个特征项
x = torch.randn(3,5)
print(x)

#指定是那个维度为分类概率(即一列是一条数据还是一行是一条数据)
y = torch.softmax(x,dim=1)
print(y)
相关推荐
知行产研13 分钟前
会感知、能协同,金科【钻孔】智能化路线 | bauma CHINA 2026
大数据·人工智能
谙弆悕博士23 分钟前
从“预测下一个词”到“预测世界下一状态”:世界模型是不是下一个AGI叙事?
人工智能·gpt·深度学习·神经网络·agi·jepa·genie 4
敖老师26 分钟前
企业知识库 × 飞书机器人 —— 从 0 到 1 接入
人工智能
AI前端工程狮30 分钟前
我给 MCP 长任务做了持久化,结果造出一堆僵尸
人工智能·程序员
黑科技iOS上架43 分钟前
iOS游戏换皮上架困境:4.3同质化拒审
人工智能·ios·审核
咕泡科技1 小时前
关于机器学习,如何通俗理解全连接层(fully connected layer)?
人工智能·深度学习·机器学习
Java后端的Ai之路1 小时前
Java并发编程22-Lock接口
java·人工智能·prompt·lock
oil欧哟1 小时前
AI 编程与写作高效工作流:语音输入、反问采访与多话题并行
人工智能
翰墨之道1 小时前
黄仁勋回归传闻升温:英伟达领导层风波牵动AI产业
人工智能·数据挖掘·回归
天天代码码天天1 小时前
把闲置电脑变成家庭照片备份站:开源 lw.HomeNAS v1.5.0 发布
人工智能