用TensorFlow进行逻辑回归(一)

这一节我们用TensorFlow定义简单的分类器。首先考虑分类器的方程式是什么是值得的。数学习的技巧是使用sigmoid函数。sigmoid函数绘制如图3-40, 通常标记为σ, 是实数域里的函数取值(0, 1)。这个特征很便利,因为我们可以将sigmoid的输出解释为事件发现的概率。 (转换离散事件到连续值是机器学习里反复出现的主题)

图3-40. 绘制sigmoid 函数.

预测离散事件的概率的方程式如下。这些方程式定义了简单的逻辑回归模型:

y 0 = σ( wx + b

y 1 = 1 − σ (wx + b

TensorFlow提供了工具函数来计算sigmoidal值的交叉熵损失。最简单的函数是tf.nn.sigmoid_cross_entropy_with_logits. ( logit是sigmoid的逆。实际上,这意味着传递参数到 sigmoid, wx + b , 而不是sigmoidal value σ wx + b 本身 )。我们推荐使用 TensorFlow的实现而不是手工定义交叉熵,因为计算交叉熵损失有许多复杂的数值问题。

#List3-44

import numpy as np

np.random.seed(456)

import tensorflow as tf

#tf.set_random_seed(456)

import matplotlib.pyplot as plt

from sklearn.metrics import accuracy_score

from scipy.special import logit

Generate synthetic data

N = 100

Zeros form a Gaussian centered at (-1, -1)

x_zeros = np.random.multivariate_normal(mean=np.array((-1, -1)), cov=.1*np.eye(2), size=(N//2,))

y_zeros = np.zeros((N//2,))

Ones form a Gaussian centered at (1, 1)

x_ones = np.random.multivariate_normal(mean=np.array((1, 1)), cov=.1*np.eye(2), size=(N//2,))

y_ones = np.ones((N//2,))

x_np = np.vstack([x_zeros, x_ones])

y_np = np.concatenate([y_zeros, y_ones])

Save image of the data distribution

plt.xlabel(r"x_1")

plt.ylabel(r"x_2")

plt.title("Toy Logistic Regression Data")

Plot Zeros

plt.scatter(x_zeros[:, 0], x_zeros[:, 1], color="blue")

plt.scatter(x_ones[:, 0], x_ones[:, 1], color="red")

plt.savefig("logistic_data.png")

x_np,y_np

模型的训练代码见List3-45 ,与线性回归模型的代码相同。

#List3-45

W = tf.Variable(tf.random.normal((2, 1)))

b = tf.Variable(tf.random.normal((1,)))

W,b

x=tf.cast(x_np,tf.float32)

y=tf.cast(y_np,tf.float32)

learning_r=0.01

optimizer = tf.optimizers.SGD(learning_r)

n_steps = 100

Train model

for i in range(n_steps):

with tf.GradientTape() as tape:

#_, summary, loss = sess.run([train_op, merged, l], feed_dict=feed_dict)

y_logit = tf.squeeze(tf.matmul(x, W) + b)

the sigmoid gives the class probability of 1

y_one_prob = tf.sigmoid(y_logit)

Rounding P(y=1) will give the correct prediction.

y_pred = tf.round(y_one_prob)

entropy = tf.nn.sigmoid_cross_entropy_with_logits(logits=y_logit, labels=y)

Sum all contributions

l = tf.reduce_sum(entropy)

gradients=tape.gradient(l,[W,b])

optimizer.apply_gradients(zip(gradients, [W, b]))

#W=W-tf.Variable(learning_r,tf.float32)*W

#b=b-tf.Variable(learning_r,tf.float32)*b

print("loss: %f" % l)

#train_writer.add_summary(summary, i)

Get weights

w_final=W

b_final=b

Make Predictions

#y_pred_np = sess.run(y_pred, feed_dict={x: x_np})

#score = accuracy_score(y_np, y_pred_np)

#print("Classification Accuracy: %f" % score)

plt.clf()

Save image of the data distribution

plt.xlabel(r"x_1")

plt.ylabel(r"x_2")

plt.title("Learned Model (Classification Accuracy: 1.00)")

plt.xlim(-2, 2)

plt.ylim(-2, 2)

Plot Zeros

plt.scatter(x_zeros[:, 0], x_zeros[:, 1], color="blue")

plt.scatter(x_ones[:, 0], x_ones[:, 1], color="red")

x_left = -2

y_left = (1./w_final[1]) * (-b_final + logit(.5) - w_final[0]*x_left)

x_right = 2

y_right = (1./w_final[1]) * (-b_final + logit(.5) - w_final[0]*x_right)

plt.plot([x_left, x_right], [y_left, y_right], color='k')

plt.savefig("logistic_pred.png")

图3-41

相关推荐
可乐+冰07 小时前
Android 编写高斯模糊功能
android·人工智能·opencv
嘀咕博客8 小时前
SynClub-百度在海外推出的AI社交产品
人工智能·百度·ai工具
AI算法工程师Moxi8 小时前
什么是迁移学习(transfer learning)
人工智能·机器学习·迁移学习
空白到白9 小时前
机器学习-KNN算法
人工智能·算法·机器学习
aliedudu9 小时前
机器学习概述
人工智能·机器学习
love you joyfully9 小时前
循环神经网络——pytorch实现循环神经网络(RNN、GRU、LSTM)
人工智能·pytorch·rnn·深度学习·gru·循环神经网络
袁庭新9 小时前
AI如何辅助创业?年轻人一定要创业
人工智能·创业
GIS开发特训营10 小时前
【智慧城市】2025年中国地质大学(武汉)暑期实训优秀作品(2):智慧城市西安与一带一路
人工智能·信息可视化·智慧城市
飞哥数智坊10 小时前
扣子实战第19讲:Coze零代码打造“新生入学百事通”,辅导员都说好
人工智能·coze
上海控安10 小时前
上海控安:GB 44495-2024《汽车整车信息安全技术要求》标准解读和测试方案
大数据·人工智能·汽车