机器学习模型——逻辑回归

https://blog.csdn.net/qq_41682922/article/details/85013008

https://blog.csdn.net/guoziqing506/article/details/81328402

https://www.cnblogs.com/cymx66688/p/11363163.html 参数详解

逻辑回归的引出:

数据线性可分可以使用线性分类器,如果数据线性不可分,可以使用非线性分类器。但是对于一个二分类问题,如果我们不仅想知道一个具体的样例是属于哪一类,而且还想知道该类属于某一类的概率多大,有什么办法呢?逻辑回归使用回归的思想来处理分类问题。

逻辑回归:

z= w_0+w_1x_1 + w_2x_2 + w_3x_3 + ... + w_nx_n

z的阈值处于(-∞,+ ∞),此时不能很好的给出属于某一类的概率,因为概率的范围在0,1之间,并且这个函数能够具有很好的可微分性。在这种需求下,人们找到了这个映射函数,即 Sigmoid 函数,其形式如下:

逻辑回归的目标函数 :

需求分析:对于一个二分类问题,我们关心的是根据自变量的值来对 Y 的取值 0 或 1 进行预测。

逻辑回归模型得到的只是 p{Y=1l x} 的预测概率。一般以0.5为界限,预测大于0.5时,我们判断此时 Y 更可能为1,否则认为 Y =0。

假设 Sigmoid 函数 Φ(z) 表示属于1类的概率, 于是做出如下的定义:

将两个式子综合起来可以改成为下式:

逻辑回归的损失函数 :

目的分析:因为逻辑回归是为了解决二分类问题,即我们的目的应该是求取参数 w 和 b 使得 p(y l x) 对 0 类和 1 类的分类结果尽可能取最大值。然而我们定义损失函数时往往是为了最大化的达到我们的目的的同时使所付出的代价最小 (损失函数最小)。于是很自然地在目的函数前加一个负号就得到了我们逻辑回归的损失函数:

根据损失函数是单个样本的预测值和实际值的误差,而成本函数是全部样本的预测值和实际值之间的误差,于是对所有样本的损失值取平均,得到我们的成本函数:

代码实现:

复制代码
from sklearn.linear_model import LogisticRegression
from sklearn.datasets import load_wine
data = load_wine()
lr = LogisticRegression()

X = data.data
y = data.target

from sklearn.model_selection import train_test_split

X_train,X_test,y_train,y_test = train_test_split(X,y,test_size=0.3)
lr.fit(X_train,y_train)

print(lr.predict(X_test))

print(lr.predict_proba(X_test))
相关推荐
数字融合22 分钟前
透明化视频驱动化工生产动态三维重建管控技术
大数据·人工智能·python
知行产研1 小时前
会感知、能协同,金科【钻孔】智能化路线 | bauma CHINA 2026
大数据·人工智能
谙弆悕博士1 小时前
从“预测下一个词”到“预测世界下一状态”:世界模型是不是下一个AGI叙事?
人工智能·gpt·深度学习·神经网络·agi·jepa·genie 4
敖老师1 小时前
企业知识库 × 飞书机器人 —— 从 0 到 1 接入
人工智能
linweidong2 小时前
RTX 4090 Ubuntu + ComfyUI + comfy-kitchen 0.2.41 完整部署文档
机器学习·云原生·conda·pandas·scikit-learn
AI前端工程狮2 小时前
我给 MCP 长任务做了持久化,结果造出一堆僵尸
人工智能·程序员
黑科技iOS上架2 小时前
iOS游戏换皮上架困境:4.3同质化拒审
人工智能·ios·审核
咕泡科技2 小时前
关于机器学习,如何通俗理解全连接层(fully connected layer)?
人工智能·深度学习·机器学习
Java后端的Ai之路2 小时前
Java并发编程22-Lock接口
java·人工智能·prompt·lock
oil欧哟2 小时前
AI 编程与写作高效工作流:语音输入、反问采访与多话题并行
人工智能