深度学习入门简单实现一个神经网络

实现一个三层神经网络

引言

今天我们实现一个简单的神经网络

俩个输入神经元 隐藏层两个神经元 一个输出神经元

激活函数我们使用sigmoid

优化方法使用梯度下降

我们前期准备是需要把这些神经元的关系理清楚

x1:第一个输入

x2:第二个输入

w11_1:第一层的第一个神经元在第一个输入上的权重

w12_1:第一层的第二个神经元在第一个输入上的权重

b1_1:第一层第一个神经元的偏置项(截距)

z1_1:第一层第一个神经元的线性函数

a1_1:第一层第一个神经元的激活函数

w21_1:第一层的第一个神经元在第一个输入上的权重

w22_1:第一层的第一个神经元在第一个输入上的权重

b2_1:第一层第二个神经元的偏置项(截距)

z1_1:第一层第二个神经元的线性函数

a1_1:第一层第二个神经元的激活函数

w11_2:第二层的第一个神经元在第一个输入上的权重

w21_2:第二层的第二个神经元在第一个输入上的权重

b1_2:第二层第一个神经元的偏置项(截距)

z1_1:第二层第一个神经元的线性函数

a1_1:第二层第一个神经元的激活函数

e:损失函数

测试数据

dataset 可以使用西瓜书89页的西瓜数据集3.0α

代码

python 复制代码
import numpy as np
import sympy
import dataset
from matplotlib import pyplot as plt


def sigmod(b):
    return 1 / (1 + np.exp(-b))


xs, ys = dataset.get_beans(100)  # 获取数据
plt.title("Size-Toxicity Funciton", fontsize=12)  # 设置图片的标题
plt.xlabel("Bean Size")  # 设置行标签
plt.ylabel("Toxicity")  # 设置列标签

plt.scatter(xs, ys)  # 画散点图

"""
命名规则
下划线后面的数字表示被输入的神经元所在的层数
字母后面的数字表示第一个数字表示第几个输入
第二个数字表示被输入的神经元在他所在层数的位置
"""
# 第一层
# 第一个神经元
w11_1 = np.random.rand()
b1_1 = np.random.rand()
# 第二个神经元
w12_1 = np.random.rand()
b2_1 = np.random.rand()
# 第二层
w11_2 = np.random.rand()
w21_2 = np.random.rand()
b1_2 = np.random.rand()


# 前向传播 代价函数 y0 = 1/(1+e^(-(wx+b)))
def forward_propgation(xs):
    z1_1 = w11_1 * xs + b1_1
    a1_1 = sigmod(z1_1) # 第一层第一个神经元的代价函数值

    z2_1 = w12_1 * xs + b2_1
    a2_1 = sigmod(z2_1)  # 第一层第二个神经元的代价函数值

    z1_2 = w11_2 * a1_1 + w21_2 * a2_1 + b1_2
    a1_2 = sigmod(z1_2)   # 第二层第一个神经元的代价函数值
    return a1_2, z1_2, a2_1, z2_1, a1_1, z1_1



a1_2, z1_2, a2_1, z2_1, a1_1, z1_1 = forward_propgation(xs)
# plt.plot(xs, a1_2)
# plt.show()

# 随机梯度下降
for j in range(5000):
    for i in range(100):
        x = xs[i]
        y = ys[i]
        # 先来一次前向传播
        a1_2, z1_2, a2_1, z2_1, a1_1, z1_1 = forward_propgation(x)
        # 开始反向传播
        # 误差代价函数e
        """
            z1_1 = w11_1 * xs + b1_1
            a1_1 = sigmod(z1_1) # 第一层第一个神经元的代价函数值

            z2_1 = w12_1 * xs + b2_1
            a2_1 = sigmod(z2_1)  # 第一层第二个神经元的代价函数值

            z1_2 = w11_2 * a1_1 + w21_2 * a2_1
            a1_2 = sigmod(z1_2)   # 第二层第一个神经元的代价函数值
        """
        e = (y - a1_2) ** 2  # 误差e = (y - 最后一个神经元得出的值)^2
        deda1_2 = -2*(y - a1_2)  # 对a1_2 第二层的第一个神经元的函数求导
        da1_2dz1_2 = a1_2 * (1 - a1_2)  # da1_2对dz1_2求导数
        dz1_2dw11_2 = a1_1  # dz1_2对w11_2求导数
        dz1_2dw21_2 = a2_1  # dz1_2对dw21_2求导
        dedw11_2 = deda1_2 * da1_2dz1_2 * dz1_2dw11_2  # de对dw11_2求偏导
        dedw21_2 = deda1_2 * da1_2dz1_2 * dz1_2dw21_2  # de对dw21_2求偏导
        dz1_2db1_2 = 1  # z1_2对db1_2求偏导
        dedb1_2 = deda1_2 * da1_2dz1_2 * dz1_2db1_2  # de对db1_2求偏导

        dz1_2da1_1 = w11_2  # dz1_2对da1_1求偏导
        da1_1dz1_1 = a1_1 * (1 - a1_1)  # da1_1对dz1_1 求偏导
        dz1_1dw11_1 = x  # dz1_1对dw11_1求偏导
        dedw11_1 = deda1_2 * da1_2dz1_2 * dz1_2da1_1 * da1_1dz1_1 * dz1_1dw11_1  # e对w11_1求导
        dz1_1db1_1 = 1  # z1_1对b1_1求导
        dedb1_1 = deda1_2 * da1_2dz1_2 * dz1_2da1_1 * da1_1dz1_1 * dz1_1db1_1  # e对b1_1求导

        dz1_2da2_1 = w21_2  # z1_2 对a2_1 求导
        da2_1dz2_1 = a2_1 * (1 - a2_1)  # a2_1 对z2_1求导
        dz2_1dw12_1 = x  # z2_1对w12_1
        dedw12_1 = deda1_2 * da1_2dz1_2 * dz1_2da1_1 * da2_1dz2_1 * dz2_1dw12_1  # e对w12_1求导
        dz2_1db2_1 = 1  # z2_1 对 b2_1求导
        dedb2_1 = deda1_2 * da1_2dz1_2 * dz1_2da1_1 * da2_1dz2_1 * dz2_1db2_1  # e 对 b2_1求导

        alpha = 0.03
        w11_2 = w11_2 - alpha * dedw11_2  # 调整w11_2
        w21_2 = w21_2 - alpha * dedw21_2  # 调整21_2
        b1_2 = b1_2 - alpha * dedb1_2  # 调整b1_2

        w12_1 = w12_1 - alpha * dedw12_1  # 调整w12_1
        b2_1 = b2_1 - alpha * dedb2_1  # 调整 b2_1

        w11_1 = w11_1 - alpha * dedw11_1  # 调整 w11_1
        b1_1 = b1_1 - alpha * dedb1_1  # 调整b1_1
    if j % 100 == 0:
        plt.clf()  # 清空窗口
        plt.scatter(xs, ys)
        a1_2, z1_2, a2_1, z2_1, a1_1, z1_1 = forward_propgation(xs)
        plt.plot(xs, a1_2)
        plt.pause(0.01)  # 暂停0.01秒
相关推荐
上海锝秉工控3 分钟前
防爆拉线位移传感器:工业安全的“隐形守护者”
大数据·人工智能·安全
m0_6786933336 分钟前
深度学习笔记29-RNN实现阿尔茨海默病诊断(Pytorch)
笔记·rnn·深度学习
胡耀超1 小时前
标签体系设计与管理:从理论基础到智能化实践的综合指南
人工智能·python·深度学习·数据挖掘·大模型·用户画像·语义分析
开-悟1 小时前
嵌入式编程-使用AI查找BUG的启发
c语言·人工智能·嵌入式硬件·bug
Ailerx1 小时前
YOLOv13震撼发布:超图增强引领目标检测新纪元
人工智能·yolo·目标检测
大咖分享课1 小时前
开源模型与商用模型协同开发机制设计
人工智能·开源·ai模型
你不知道我是谁?1 小时前
AI 应用于进攻性安全
人工智能·安全
reddingtons2 小时前
Adobe高阶技巧与设计师创意思维的进阶指南
人工智能·adobe·illustrator·设计师·photoshop·创意设计·aftereffects
机器之心2 小时前
刚刚,Grok4跑分曝光:「人类最后考试」拿下45%,是Gemini 2.5两倍,但网友不信
人工智能
蹦蹦跳跳真可爱5892 小时前
Python----大模型(使用api接口调用大模型)
人工智能·python·microsoft·语言模型