神经网络的激活函数+损失函数

激活函数

10个样本数据data,20个对Sigmoid函数进行线性变换的参数值(5个Sigmoid函数,每个函数有4个值)

  • learning_rage = 0.05 学习率,作用在参数对loss值的导数上,让最终的参数慢慢调整,使得线性变化之后5个Sigmoid函数的结果值慢慢逼近真实值
  • 训练1000次进行计算

以此类推:计算

python 复制代码
learning_rage = 0.05

for i in range(1000):
	for x,y in data:
		q1 = a1 * x +b1 
		p1 = 1 / (1 + e ** (-q1))
		g1 = c1 * p1 + d1

		q2 = a2 * x +b2 
		p2 = 1 / (1 + e ** (-q2))
		g2 = c2 * p2 + d2

		q3 = a3 * x +b3
		p3 = 1 / (1 + e ** (-q3))
		g3 = c3 * p3 + d3

		q4 = a4 * x +b4 
		p4 = 1 / (1 + e ** (-q4))
		g4 = c4 * p4 + d4

		q5 = a5 * x +b5 
		p5 = 1 / (1 + e ** (-q5))
		g5 = c5 * p5 + d5

		y_hat = g1 + g2 + g3 + g4 + g5 #预测值
		loss = (y - y_hat) ** 2
		
		# 导数的链式法则,分别计算a1-d1的导数
		a1_grad = (-2 * (y - y_hat)) * 1 * c1 * p1 * (1 - p1) * x
		b1_grad = (-2 * (y - y_hat)) * 1 * c1 * p1 * (1 - p1) * 1
		c1_grad = (-2 * (y - y_hat)) * 1 * p1
		d1_grad = (-2 * (y - y_hat)) * 1

		a2_grad = (-2 * (y - y_hat)) * 1 * c2 * p2 * (1 - p2) * x
		b2_grad = (-2 * (y - y_hat)) * 1 * c2 * p2 * (1 - p2) * 1
		c2_grad = (-2 * (y - y_hat)) * 1 * p2
		d2_grad = (-2 * (y - y_hat)) * 1

		a3_grad = (-2 * (y - y_hat)) * 1 * c3 * p3 * (1 - p3) * x
		b3_grad = (-2 * (y - y_hat)) * 1 * c3 * p3 * (1 - p3) * 1
		c3_grad = (-2 * (y - y_hat)) * 1 * p3
		d3_grad = (-2 * (y - y_hat)) * 1

		a4_grad = (-2 * (y - y_hat)) * 1 * c4 * p4 * (1 - p4) * x
		b4_grad = (-2 * (y - y_hat)) * 1 * c4 * p4 * (1 - p4) * 1
		c4_grad = (-2 * (y - y_hat)) * 1 * p4
		d4_grad = (-2 * (y - y_hat)) * 1

		a1_grad = (-2 * (y - y_hat)) * 1 * c5 * p5 * (1 - p5) * x
		b1_grad = (-2 * (y - y_hat)) * 1 * c5 * p5 * (1 - p5) * 1
		c1_grad = (-2 * (y - y_hat)) * 1 * p5
		d1_grad = (-2 * (y - y_hat)) * 1

		a1 = a1 - learning_rate * a1_grad
		b1 = b1 - learning_rate * b1_grad
		c1 = c1 - learning_rate * c1_grad
		d1 = d1 - learning_rate * d1_grad

		a2 = a2 - learning_rate * a2_grad
		b1 = b1 - learning_rate * b2_grad
		c1 = c1 - learning_rate * c2_grad
		d1 = d1 - learning_rate * d2_grad

		a3 = a3 - learning_rate * a3_grad
		b3 = b3 - learning_rate * b3_grad
		c3 = c3 - learning_rate * c3_grad
		d3 = d3 - learning_rate * d3_grad

		a4 = a4 - learning_rate * a4_grad
		b4 = b4 - learning_rate * b4_grad
		c4 = c4 - learning_rate * c4_grad
		d4 = d4 - learning_rate * d4_grad

		a5 = a5 - learning_rate * a5_grad
		b5 = b5 - learning_rate * b5_grad
		c5 = c5 - learning_rate * c5_grad
		d5 = d5 - learning_rate * d5_grad

	print(f"Epoch {i},Loss:{loss:8f}")

其他激活函数


损失函数

相关推荐
吴佳浩5 小时前
我把 HAMi 摆回一台双卡机器上跑了一遍:GPU 编排的性能账,到底记在谁头上
人工智能·gpu
forest_099 小时前
《AI 编程 Harness 实战手册》04|审批这道门:点了一百次“允许”,还剩多少作用?
人工智能·算法·prompt·agi
火山引擎开发者社区10 小时前
当 RPA 遇上 Agent:MUA 混合执行 Workflow 深度拆解
人工智能
严肃小白兔10 小时前
第 10/24 期:深度神经网络的自动求导机制与梯度验证
人工智能·神经网络·dnn
火山引擎开发者社区10 小时前
定档12.16-12.18!FORCE原动力大会上海见!
人工智能
努力的MM12311 小时前
CAIE 二级和阿里云大模型 ACP 怎么选?企业 AI 工程与云平台开发能力对比
人工智能
老金带你玩AI11 小时前
Kling Image 4.0来了!8K和组图直出,电商人的提效神器?
人工智能
孟健11 小时前
用 unslop 拯救 AI 生成网页的塑料感,7 分钟重构落地实测
前端·人工智能·ai编程
stormzhangV11 小时前
Google 重返第一梯队
人工智能·google·aigc