机器学习模型——逻辑回归

https://blog.csdn.net/qq_41682922/article/details/85013008

https://blog.csdn.net/guoziqing506/article/details/81328402

https://www.cnblogs.com/cymx66688/p/11363163.html 参数详解

逻辑回归的引出:

数据线性可分可以使用线性分类器,如果数据线性不可分,可以使用非线性分类器。但是对于一个二分类问题,如果我们不仅想知道一个具体的样例是属于哪一类,而且还想知道该类属于某一类的概率多大,有什么办法呢?逻辑回归使用回归的思想来处理分类问题。

逻辑回归:

z= w_0+w_1x_1 + w_2x_2 + w_3x_3 + ... + w_nx_n

z的阈值处于(-∞,+ ∞),此时不能很好的给出属于某一类的概率,因为概率的范围在[0,1]之间,并且这个函数能够具有很好的可微分性。在这种需求下,人们找到了这个映射函数,即 Sigmoid 函数,其形式如下:

逻辑回归的目标函数 :

需求分析:对于一个二分类问题,我们关心的是根据自变量的值来对 Y 的取值 0 或 1 进行预测。

逻辑回归模型得到的只是 p{Y=1l x} 的预测概率。一般以0.5为界限,预测大于0.5时,我们判断此时 Y 更可能为1,否则认为 Y =0。

假设 Sigmoid 函数 Φ(z) 表示属于1类的概率, 于是做出如下的定义:

将两个式子综合起来可以改成为下式:

逻辑回归的损失函数 :

目的分析:因为逻辑回归是为了解决二分类问题,即我们的目的应该是求取参数 w 和 b 使得 p(y l x) 对 0 类和 1 类的分类结果尽可能取最大值。然而我们定义损失函数时往往是为了最大化的达到我们的目的的同时使所付出的代价最小 (损失函数最小)。于是很自然地在目的函数前加一个负号就得到了我们逻辑回归的损失函数:

根据损失函数是单个样本的预测值和实际值的误差,而成本函数是全部样本的预测值和实际值之间的误差,于是对所有样本的损失值取平均,得到我们的成本函数:

代码实现:

复制代码
from sklearn.linear_model import LogisticRegression
from sklearn.datasets import load_wine
data = load_wine()
lr = LogisticRegression()

X = data.data
y = data.target

from sklearn.model_selection import train_test_split

X_train,X_test,y_train,y_test = train_test_split(X,y,test_size=0.3)
lr.fit(X_train,y_train)

print(lr.predict(X_test))

print(lr.predict_proba(X_test))
相关推荐
张较瘦_1 小时前
[论文阅读] 人工智能 + 软件工程 | 需求获取访谈中LLM生成跟进问题研究:来龙去脉与创新突破
论文阅读·人工智能
一 铭2 小时前
AI领域新趋势:从提示(Prompt)工程到上下文(Context)工程
人工智能·语言模型·大模型·llm·prompt
麻雀无能为力6 小时前
CAU数据挖掘实验 表分析数据插件
人工智能·数据挖掘·中国农业大学
时序之心6 小时前
时空数据挖掘五大革新方向详解篇!
人工智能·数据挖掘·论文·时间序列
.30-06Springfield6 小时前
人工智能概念之七:集成学习思想(Bagging、Boosting、Stacking)
人工智能·算法·机器学习·集成学习
说私域7 小时前
基于开源AI智能名片链动2+1模式S2B2C商城小程序的超级文化符号构建路径研究
人工智能·小程序·开源
永洪科技7 小时前
永洪科技荣获商业智能品牌影响力奖,全力打造”AI+决策”引擎
大数据·人工智能·科技·数据分析·数据可视化·bi
shangyingying_17 小时前
关于小波降噪、小波增强、小波去雾的原理区分
人工智能·深度学习·计算机视觉
书玮嘎8 小时前
【WIP】【VLA&VLM——InternVL系列】
人工智能·深度学习
猫头虎9 小时前
猫头虎 AI工具分享:一个网页抓取、结构化数据提取、网页爬取、浏览器自动化操作工具:Hyperbrowser MCP
运维·人工智能·gpt·开源·自动化·文心一言·ai编程