使用tensorflow的线性回归的例子(七)

L1 与L2损失

这个脚本展示如何用TensorFlow求解线性回归。

在算法的收敛性中,理解损失函数的影响是很重要的。这里我们展示L1和L2损失函数是如何影响线性回归的收敛性的。我们使用iris数据集,但是我们将改变损失函数和学习速率来看收敛性的改变。

import matplotlib.pyplot as plt

import numpy as np

import tensorflow as tf

from sklearn import datasets

from tensorflow.python.framework import ops

ops.reset_default_graph()

L1-Loss

这里我们展示使用L1-损失的线性回归。后面展示L2-损失的线性回归。

线性最少二乘的L1损失函数为

其中 N 是数据点数, yi 第i个实际的y值, ^yi^ 是第i个y值的预测值。

我们加载iris数据。

iris.data = [(Sepal Length, Sepal Width, Petal Length, Petal Width)]

iris = datasets.load_iris()

x_vals = np.array([x[3] for x in iris.data])

y_vals = np.array([y[0] for y in iris.data])

我们定义模型,损失函数,变量的梯度。

def model(x,w,b):

Declare model operations

model_output = tf.add(tf.matmul(x, w), b)

return model_output

def loss1(x, y,w,b):

Declare loss functions

loss_l1 = tf.reduce_mean(tf.abs(y - model(x,w,b)))

Declare loss functions

#loss_l2 = tf.reduce_mean(tf.square(y_target - model_output))

return loss_l1

def grad1(x,y,w,b):

with tf.GradientTape() as tape:

loss_1 = loss1(x,y,w,b)

return tape.gradient(loss_1,[w,b])

设置模型参数。要注意的一个重要参数是学习速率。如果学习速率太大,模型不收敛。如果学习速率太小,模型收敛太慢。这里有两个学习速率来展示收敛与不收敛。收敛的学习速小于0.35。要说明收敛,设置学习速率大于等于0.4。

batch_size = 25

learning_rate = 0.4 # Will not converge with learning rate at 0.4

iterations = 50

我们要初始化变量。

Create variables for linear regression

w1 = tf.Variable(tf.random.normal(shape=[1,1]),tf.float32)

b1 = tf.Variable(tf.random.normal(shape=[1,1]),tf.float32)

我们要告诉模型使用的优化器。

optimizer = tf.optimizers.Adam(learning_rate)

我们进行模型训练。

Training loop

loss_vec_l1=[]

loss_vec_l2=[]

for i in range(5000):

rand_index = np.random.choice(len(x_vals), size=batch_size)

rand_x = np.transpose([x_vals[rand_index]])

rand_y = np.transpose([y_vals[rand_index]])

x=tf.cast(rand_x,tf.float32)

y=tf.cast(rand_y,tf.float32)

grads1=grad1(x,y,w1,b1)

optimizer.apply_gradients(zip(grads1,[w1,b1]))

#sess.run(train_step, feed_dict={x_data: rand_x, y_target: rand_y})

temp_loss1 = loss1(x, y,w1,b1).numpy()

#sess.run(loss, feed_dict={x_data: rand_x, y_target: rand_y})

loss_vec_l1.append(temp_loss1)

if (i+1)%25==0:

print('Step #' + str(i+1) + ' A = ' + str(w1.numpy()) + ' b = ' + str(b1.numpy()))

print('Loss = ' + str(temp_loss1))

我们得到回归系数和拟合线。

Get the optimal coefficients

slope\] = w1.numpy() \[y_intercept\] = b1.numpy() # Get best fit line best_fit1 = \[

for i in x_vals:

best_fit1.append(slope*i+y_intercept)

我们绘制拟合线。

Plot the result

plt.plot(x_vals, y_vals, 'o', label='Data Points')

plt.plot(x_vals, best_fit1, 'r-', label='Best fit line', linewidth=3)

plt.legend(loc='upper left')

plt.title('Sepal Length vs Petal Width')

plt.xlabel('Petal Width')

plt.ylabel('Sepal Length')

plt.show()

Plot loss over time

plt.plot(loss_vec_l1, 'k-')

plt.title('L1 Loss per Generation')

plt.xlabel('Generation')

plt.ylabel('L1 Loss')

plt.show()

相关推荐
想变成树袋熊10 分钟前
【自用】NLP算法面经(6)
人工智能·算法·自然语言处理
格林威32 分钟前
Baumer工业相机堡盟工业相机如何通过YoloV8深度学习模型实现沙滩小人检测识别(C#代码UI界面版)
人工智能·深度学习·数码相机·yolo·计算机视觉
checkcheckck1 小时前
spring ai 适配 流式回答、mcp、milvus向量数据库、rag、聊天会话记忆
人工智能
Microvision维视智造1 小时前
从“人工眼”到‘智能眼’:EZ-Vision视觉系统如何重构生产线视觉检测精度?
图像处理·人工智能·重构·视觉检测
巫婆理发2221 小时前
神经网络(多层感知机)(第二课第二周)
人工智能·深度学习·神经网络
lxmyzzs1 小时前
【打怪升级 - 03】YOLO11/YOLO12/YOLOv10/YOLOv8 完全指南:从理论到代码实战,新手入门必看教程
人工智能·神经网络·yolo·目标检测·计算机视觉
SEO_juper1 小时前
企业级 AI 工具选型报告:9 个技术平台的 ROI 对比与部署策略
人工智能·搜索引擎·百度·llm·工具·geo·数字营销
Coovally AI模型快速验证1 小时前
数据集分享 | 智慧农业实战数据集精选
人工智能·算法·目标检测·机器学习·计算机视觉·目标跟踪·无人机
xw33734095641 小时前
彩色转灰度的核心逻辑:三种经典方法及原理对比
人工智能·python·深度学习·opencv·计算机视觉
蓝桉8021 小时前
opencv学习(图像金字塔)
人工智能·opencv·学习