机器学习算法-逻辑回归

今天我们用 「预测考试是否及格」 的例子来讲解逻辑回归,从原理到实现一步步拆解,保证零基础也能懂!

🎯 例子背景

假设你是班主任,要根据学生的「学习时间」预测「是否及格」,手上有以下数据:

学习时间(h) 是否及格(1=是,0=否)
1 0
2 0
3 1
4 1
5 1

新问题:学习3.5小时的学生,及格概率有多大?


🌟 逻辑回归核心思想

不是直接预测类别,而是计算属于某类的概率

比如:P(及格|学习3.5h) = 70% → 若阈值设50%,则判定为及格

🔑 关键特点
  1. 输出范围在0~1之间(概率)

  2. S型函数(Sigmoid) 将线性结果转为概率


📈 原理分步拆解

1. 先做线性回归

临时计算 z = a×学习时间 + b

(比如初始假设:z = 0.6×时间 - 1.5)

2. 通过Sigmoid函数转概率

公式:
P(及格) = 1 / (1 + e^(-z))

  • 当z=0时,P=0.5

  • z越大,P越接近1;z越小,P越接近0

3. 计算示例

对于学习3.5小时:
z = 0.6×3.5 - 1.5 = 0.6
P = 1 / (1 + e^(-0.6)) ≈ 0.65

→ 及格概率65%


🛠️ Python代码实现

1. 基础版(手写核心逻辑)
python 复制代码
import numpy as np

# Sigmoid函数
def sigmoid(z):
    return 1 / (1 + np.exp(-z))

# 假设参数
a = 0.6  # 斜率
b = -1.5 # 截距

# 预测函数
def predict(hours):
    z = a * hours + b
    return sigmoid(z)

print("学习3.5小时及格概率:", predict(3.5))  # 输出: 0.65
2. 实战版(用scikit-learn)
python 复制代码
from sklearn.linear_model import LogisticRegression
import numpy as np

# 准备数据
X = np.array([1, 2, 3, 4, 5]).reshape(-1, 1)  # 学习时间
y = np.array([0, 0, 1, 1, 1])                 # 是否及格

# 训练模型
model = LogisticRegression()
model.fit(X, y)

# 预测新数据
new_hour = np.array([[3.5]])
prob = model.predict_proba(new_hour)[0][1]  # 获取概率
print(f"及格概率: {prob:.2%}")              # 输出: 64.94%

# 查看参数
print(f"方程: z = {model.coef_[0][0]:.2f}×时间 + {model.intercept_[0]:.2f}")
复制代码

📊 决策边界可视化

python 复制代码
import matplotlib.pyplot as plt

# 绘制数据点
plt.scatter(X, y, color=['red' if i==0 else 'blue' for i in y], label='真实数据')

# 生成概率曲线
X_test = np.linspace(0, 6, 100).reshape(-1,1)
prob_curve = model.predict_proba(X_test)[:,1]
plt.plot(X_test, prob_curve, 'g-', label='概率曲线')

# 标记决策边界(P=0.5对应的X值)
decision_boundary = -model.intercept_ / model.coef_[0]
plt.axvline(x=decision_boundary, linestyle='--', color='black', label='决策边界')

plt.xlabel('学习时间(h)')
plt.ylabel('概率')
plt.legend()
plt.show()

决策边界约在2.5小时(P=0.5的位置)*


🌟 关键知识点

  1. 阈值可调

    • 默认0.5,可根据需求调整(如医疗诊断需更高阈值)
  2. 为什么叫"回归"

    • 底层用了线性回归,只是加了Sigmoid转换
  3. 多分类扩展

    • Softmax代替Sigmoid可处理多分类(如预测ABC等级)
  4. 评估指标

    • 常用准确率、ROC曲线、AUC值

🆚 vs 线性回归

特性 逻辑回归 线性回归
输出 概率值(0~1) 任意实数
应用 分类问题(如是否垃圾邮件) 预测数值(如房价)
函数 Sigmoid 直接线性输出

💡 常见问题

Q:特征需要标准化吗?

A:最好做!逻辑回归虽不受量纲影响,但能加速收敛。

Q:学习时间6小时预测概率>1?

A:不会!Sigmoid函数永远输出0~1之间。


总结:逻辑回归就是
① 线性计算 → ② 概率转换 → ③ 阈值判断

像老师通过学习时间判断学生及格可能性,既简单又实用! 🎓→📈

相关推荐
计算机sci论文精选1 小时前
CVPR 2024 3D传感框架实现无监督场景理解新纪元
人工智能·机器学习·计算机视觉·3d·cvpr·传感技术
找不到、了1 小时前
Java排序算法之<选择排序>
数据结构·算法·排序算法
是店小二呀1 小时前
【动态规划-斐波那契数列模型】理解动态规划:斐波那契数列的递推模型
算法·动态规划·代理模式
小徐不徐说2 小时前
动态规划:从入门到精通
数据结构·c++·算法·leetcode·动态规划·代理模式
guguhaohao2 小时前
排序算法,咕咕咕
数据结构·算法·排序算法
小新学习屋2 小时前
《剑指offer》-数据结构篇-树
数据结构·算法·leetcode
好心的小明2 小时前
【深度之眼机器学习笔记】04-01-决策树简介、熵,04-02-条件熵及计算举例,04-03-信息增益、ID3算法
笔记·算法·决策树
恣艺4 小时前
LeetCode 1074:元素和为目标值的子矩阵数量
算法·leetcode·矩阵
zzywxc7875 小时前
详细介绍AI在金融、医疗、教育、制造四大领域的落地案例,每个案例均包含实际应用场景、技术实现方案、可视化图表和核心代码示例
人工智能·深度学习·机器学习
queenlll5 小时前
P1064 [NOIP 2006 提高组] 金明的预算方案 题解
算法