人工智能学习:LR和SVM的联系与区别?

LR和SVM的联系与区别?

相同点:

(1) LR和SVM都可以处理分类问题 ,且--- 般都用于处理线性二 分类问题(在改进的情况下可以处理多分类问题)

(2)两个方 法都可以增加不同的正则化项 ,如L1、 L2等等。所以在很多实验中 ,两种算法的结果是很接近的。

区别:

(1) LR是参数模型, SVM是非参数模型。

(2)从目 标函数来看 ,区别在于逻辑回归采用 的是Logistical Loss ,SVM采用 的是hinge loss.这两个损失函数的目 的都是增加对分类影响较大 的数据点的权重 ,减少与分类关系较小 的数据点的权重。

(3) SVM的处理方 法是只考虑Support Vectors ,也就是和分类最相关的少数点 ,去学习分类器。 而逻辑回归通过 非 线性映射 ,大大 减小 了离分类平面 较远的点的权重 ,相对提升了与分类最相关的数据点的权重。

(4)逻辑回归相对来说模型更简单,好理解 ,特别是大 规模线性分类时比 较方 便。而SVM的理解和优化相对来说 复杂--- 些, SVM转化为对偶问题后,分类只需要计算与少数几 个支 持向量的距离,这个在进行 复杂核函数计算时优势 很明显,能够大大 简化模型和计算。

(5) Logic能做的SVM能做 ,但可能在准确率上有问题, SVM能做的Logic有的做不了。

相关推荐
万行1 分钟前
机器学习&第一章
人工智能·python·机器学习·flask·计算机组成原理
实战项目1 分钟前
基于PyTorch的卷积神经网络花卉识别系统
人工智能·pytorch·cnn
shangjian0072 分钟前
AI大模型-机器学习-算法-线性回归
人工智能·算法·机器学习
zuozewei4 分钟前
零基础 | 一文速通 AI 大模型常见术语
人工智能
说私域8 分钟前
云零售时代的S2B模式重构:AI智能名片与链动2+1模式的赋能路径
人工智能·重构·零售
清风吹过11 分钟前
Birch聚类算法
论文阅读·深度学习·神经网络·机器学习
2301_8002561114 分钟前
B+树:数据库的基石 R树:空间数据的索引专家 四叉树:空间划分的网格大师
数据结构·数据库·b树·机器学习·postgresql·r-tree
mjhcsp16 分钟前
C++ KMP 算法:原理、实现与应用全解析
java·c++·算法·kmp
lizhongxuan17 分钟前
Manus: 上下文工程的最佳实践
算法·架构
划水的code搬运工小李19 分钟前
EVO评估数据导出在origin中绘制
人工智能