人工智能学习:LR和SVM的联系与区别?

LR和SVM的联系与区别?

相同点:

(1) LR和SVM都可以处理分类问题 ,且--- 般都用于处理线性二 分类问题(在改进的情况下可以处理多分类问题)

(2)两个方 法都可以增加不同的正则化项 ,如L1、 L2等等。所以在很多实验中 ,两种算法的结果是很接近的。

区别:

(1) LR是参数模型, SVM是非参数模型。

(2)从目 标函数来看 ,区别在于逻辑回归采用 的是Logistical Loss ,SVM采用 的是hinge loss.这两个损失函数的目 的都是增加对分类影响较大 的数据点的权重 ,减少与分类关系较小 的数据点的权重。

(3) SVM的处理方 法是只考虑Support Vectors ,也就是和分类最相关的少数点 ,去学习分类器。 而逻辑回归通过 非 线性映射 ,大大 减小 了离分类平面 较远的点的权重 ,相对提升了与分类最相关的数据点的权重。

(4)逻辑回归相对来说模型更简单,好理解 ,特别是大 规模线性分类时比 较方 便。而SVM的理解和优化相对来说 复杂--- 些, SVM转化为对偶问题后,分类只需要计算与少数几 个支 持向量的距离,这个在进行 复杂核函数计算时优势 很明显,能够大大 简化模型和计算。

(5) Logic能做的SVM能做 ,但可能在准确率上有问题, SVM能做的Logic有的做不了。

相关推荐
IT_陈寒2 小时前
我又被JavaScript的隐式类型转换坑了
前端·人工智能·后端
工业设备方案笔记2 小时前
RK3588 vs RK3568:AI边缘计算项目到底应该如何选择芯片平台?
arm开发·人工智能·目标跟踪·架构·边缘计算
程序喵大人3 小时前
【C++进阶】STL算法与函数对象 - 02 sort为什么需要随机访问迭代器
开发语言·c++·算法
hanlin033 小时前
动态规划专练:力扣第121、122题
笔记·算法·leetcode
SomeB1oody3 小时前
【RustyML入门】2.6. 线性判别分析
开发语言·后端·机器学习·rust·教程
windliang3 小时前
Claude Code 源码分析(七):Skill 如何进入 Agent
前端·人工智能·面试
To_OC3 小时前
LC 74 搜索二维矩阵:换皮的二分查找,我居然一开始没看出来
javascript·算法·leetcode
文心快码BaiduComate3 小时前
文心快码荣获“中国优秀软件产品”,实力再获国家级认可
算法·代码规范
PNP Robotics3 小时前
力控赋能具身|PNP机器人联合坤维亮相中国机器人学术年会
人工智能·机器学习·机器人
阿基拉de_Akir3 小时前
跨层禁止:机器如何拦截非法语义绑定
人工智能