人工智能学习:LR和SVM的联系与区别?

LR和SVM的联系与区别?

相同点:

(1) LR和SVM都可以处理分类问题 ,且--- 般都用于处理线性二 分类问题(在改进的情况下可以处理多分类问题)

(2)两个方 法都可以增加不同的正则化项 ,如L1、 L2等等。所以在很多实验中 ,两种算法的结果是很接近的。

区别:

(1) LR是参数模型, SVM是非参数模型。

(2)从目 标函数来看 ,区别在于逻辑回归采用 的是Logistical Loss ,SVM采用 的是hinge loss.这两个损失函数的目 的都是增加对分类影响较大 的数据点的权重 ,减少与分类关系较小 的数据点的权重。

(3) SVM的处理方 法是只考虑Support Vectors ,也就是和分类最相关的少数点 ,去学习分类器。 而逻辑回归通过 非 线性映射 ,大大 减小 了离分类平面 较远的点的权重 ,相对提升了与分类最相关的数据点的权重。

(4)逻辑回归相对来说模型更简单,好理解 ,特别是大 规模线性分类时比 较方 便。而SVM的理解和优化相对来说 复杂--- 些, SVM转化为对偶问题后,分类只需要计算与少数几 个支 持向量的距离,这个在进行 复杂核函数计算时优势 很明显,能够大大 简化模型和计算。

(5) Logic能做的SVM能做 ,但可能在准确率上有问题, SVM能做的Logic有的做不了。

相关推荐
小易老师AI实战3 分钟前
RLHF深度详解(超通俗+原理+工程+对比):大模型对齐的核心基石
人工智能·大模型·sft·rlhf·ppo·人类反馈强化学习·llm 对齐
资深电气设计4 分钟前
高压直流母线系统测试是什么?宜迈思液冷直流负载方案技术说明
人工智能
数智工坊5 分钟前
视觉SLAM第12讲|地图构建:单目稠密重建、RGB-D点云与八叉树地图全解析
人工智能·深度学习·矩阵·机器人
北极有牛15 分钟前
cpp学习笔记--常量指针
java·开发语言·算法
GPU实战笔记16 分钟前
云端 GPU 训练的账户余额提醒:它能说明什么,不能说明什么?
深度学习·算法·成本管理·gpu云计算·云端训练
回眸&啤酒鸭16 分钟前
【回眸】OpenSwarm 多智能体协作系统实战指南
大数据·前端·人工智能
博图光电25 分钟前
Libra 27105相关技术参数
人工智能·数码相机
浮链序37 分钟前
怎么证明"你这个模型是偷我的"——把蒸馏变成取证工具
算法·安全·llm
小O的算法实验室38 分钟前
IEEE TMC,面向异构物联网的多目标量子行为拓扑优化算法
算法
IT_陈寒1 小时前
SpringBoot自动配置差点让我加班到凌晨
前端·人工智能·后端