【机器学习算法】——逻辑回归

目录

逻辑回归理解

  • 逻辑回归是用来二分类的! 是在线性回归模型之后加了一个激活函数(Sigmoid)将预测值归一化到【0~1】之间,变成概率值。

  • 一般计算其中一个类别的概率P,自然会得到另一个类别的概率1-P。假如一个人是女生的概率是0.7,是男生的概率是多少呢?自然是0.3。那你会认为这个人是男生还是女生呢?当时是女生!一般认为概率最大的类别为分类结果。

损失函数

  • MSE loss:计算数值之间的差异 (线性回归)
  • BCE Loss:计算分布之间的差异(逻辑回归)

代码

python 复制代码
# 导入必要的库
import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score
import matplotlib.pyplot as plt

# 准备数据
x_data = [1.0], [2.0], [3.0]
y_data = [0], [0], [1]

# 创建并拟合逻辑回归模型
model = LogisticRegression()
model.fit(x_data, y_data )

# 在测试集上进行预测
y_pred = model.predict(x_data)# predict预测的是值,可能是:[0,0,1]

# 计算准确率
accuracy = accuracy_score(y_data, y_pred)
print("Accuracy:", accuracy)


# 绘制决策边界
x = np.linspace(0, 10, 200).reshape(-1,1)#变成200行,1列
y = model.predict_proba(x)[:, 1]#predict_proba预测的是类别为1的概率值,取值范围为:[0,1]概率值[0.2,0.3,0.8]

plt.plot(x, y)
plt.plot([0, 10], [0.5, 0.5], c='r')#在概率=0.5时画一条红色直线;概率<0.5认为类别为0;概率>=0.5认为类别为1.
plt.xlabel('Hours')
plt.ylabel('Probability of Pass')
plt.grid()
plt.show()

练习

1. 房屋价格与面积的关系

python 复制代码
import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LogisticRegression,LinearRegression
from sklearn.metrics import mean_squared_error

plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False

# 设置随机种子以确保结果的可重现性
np.random.seed(42)

# 生成模拟数据:100个房屋的面积(平方米)和成交价格(万元)
areas = np.random.uniform(60, 200, 100)#生成均匀分布的随机数     X
prices = 1.2 * areas + np.random.normal(0, 20, 100)  # 假设价格与面积成正比,加上随机噪声      y

# 创建线性回归模型并训练
model= LinearRegression()
model.fit(areas.reshape(-1,1), prices)#(x=areas.reshape(-1, 1),y=prices)

# 使用模型预测所有房屋的价格
predicted_prices = model.predict(areas.reshape(-1,1))#预测:x---->y

# 计算均方误差
mse = mean_squared_error(prices, predicted_prices)
print(f"模型均方误差: {mse:.2f}")

# 绘制数据点和最佳拟合线
plt.figure(figsize=(10, 6))
plt.scatter(areas, prices, color='blue', label='实际价格')#scatter:散点图
plt.plot(areas, predicted_prices, color='red', label='最佳拟合线')

# 设置图表标题和坐标轴标签
plt.title('房屋价格与面积的线性回归')
plt.xlabel('面积(平方米)')
plt.ylabel('成交价格(万元)')

plt.legend()
plt.show()

2.基于学生特征的录取概率预测

python 复制代码
import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error

plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False

# 设置随机种子以确保结果的可重现性
np.random.seed(42)

# 生成模拟数据:100个房屋的面积(平方米)和成交价格(万元)
areas = np.random.uniform(60, 200, 100)#生成均匀分布的随机数     X
prices = 1.2 * areas + np.random.normal(0, 20, 100)  # 假设价格与面积成正比,加上随机噪声      y

# 创建线性回归模型并训练
model= LinearRegression()
model.fit(areas.reshape(-1,1), prices)#(x=areas.reshape(-1, 1),y=prices)

# 使用模型预测所有房屋的价格
predicted_prices = model.predict(areas.reshape(-1,1))#预测:x---->y

# 计算均方误差
mse = mean_squared_error(prices, predicted_prices)
print(f"模型均方误差: {mse:.2f}")

# 绘制数据点和最佳拟合线
plt.figure(figsize=(10, 6))
plt.scatter(areas, prices, color='blue', label='实际价格')#scatter:散点图
plt.plot(areas, predicted_prices, color='red', label='最佳拟合线')

# 设置图表标题和坐标轴标签
plt.title('房屋价格与面积的线性回归')
plt.xlabel('面积(平方米)')
plt.ylabel('成交价格(万元)')

plt.legend()
plt.show()

线性回归和逻辑回归是机器学习的基础
分类和回归也是机器学习的两个最重要的分支!

相关推荐
XiaoLeisj5 分钟前
【递归,搜索与回溯算法 & 综合练习】深入理解暴搜决策树:递归,搜索与回溯算法综合小专题(二)
数据结构·算法·leetcode·决策树·深度优先·剪枝
IT古董24 分钟前
【漫话机器学习系列】017.大O算法(Big-O Notation)
人工智能·机器学习
Jasmine_llq24 分钟前
《 火星人 》
算法·青少年编程·c#
闻缺陷则喜何志丹35 分钟前
【C++动态规划 图论】3243. 新增道路查询后的最短距离 I|1567
c++·算法·动态规划·力扣·图论·最短路·路径
海棠AI实验室1 小时前
AI的进阶之路:从机器学习到深度学习的演变(三)
人工智能·深度学习·机器学习
Lenyiin1 小时前
01.02、判定是否互为字符重排
算法·leetcode
鸽鸽程序猿1 小时前
【算法】【优选算法】宽搜(BFS)中队列的使用
算法·宽度优先·队列
Jackey_Song_Odd1 小时前
C语言 单向链表反转问题
c语言·数据结构·算法·链表
Watermelo6171 小时前
详解js柯里化原理及用法,探究柯里化在Redux Selector 的场景模拟、构建复杂的数据流管道、优化深度嵌套函数中的精妙应用
开发语言·前端·javascript·算法·数据挖掘·数据分析·ecmascript