人工智能学习:LR和SVM的联系与区别?

LR和SVM的联系与区别?

相同点:

(1) LR和SVM都可以处理分类问题 ,且--- 般都用于处理线性二 分类问题(在改进的情况下可以处理多分类问题)

(2)两个方 法都可以增加不同的正则化项 ,如L1、 L2等等。所以在很多实验中 ,两种算法的结果是很接近的。

区别:

(1) LR是参数模型, SVM是非参数模型。

(2)从目 标函数来看 ,区别在于逻辑回归采用 的是Logistical Loss ,SVM采用 的是hinge loss.这两个损失函数的目 的都是增加对分类影响较大 的数据点的权重 ,减少与分类关系较小 的数据点的权重。

(3) SVM的处理方 法是只考虑Support Vectors ,也就是和分类最相关的少数点 ,去学习分类器。 而逻辑回归通过 非 线性映射 ,大大 减小 了离分类平面 较远的点的权重 ,相对提升了与分类最相关的数据点的权重。

(4)逻辑回归相对来说模型更简单,好理解 ,特别是大 规模线性分类时比 较方 便。而SVM的理解和优化相对来说 复杂--- 些, SVM转化为对偶问题后,分类只需要计算与少数几 个支 持向量的距离,这个在进行 复杂核函数计算时优势 很明显,能够大大 简化模型和计算。

(5) Logic能做的SVM能做 ,但可能在准确率上有问题, SVM能做的Logic有的做不了。

相关推荐
源于花海4 分钟前
迁移学习相关的期刊和会议
人工智能·机器学习·迁移学习·期刊会议
DisonTangor2 小时前
DeepSeek-OCR 2: 视觉因果流
人工智能·开源·aigc·ocr·deepseek
薛定谔的猫19822 小时前
二十一、基于 Hugging Face Transformers 实现中文情感分析情感分析
人工智能·自然语言处理·大模型 训练 调优
发哥来了2 小时前
《AI视频生成技术原理剖析及金管道·图生视频的应用实践》
人工智能
数智联AI团队2 小时前
AI搜索引领开源大模型新浪潮,技术创新重塑信息检索未来格局
人工智能·开源
不懒不懒2 小时前
【线性 VS 逻辑回归:一篇讲透两种核心回归模型】
人工智能·机器学习
冰西瓜6003 小时前
从项目入手机器学习——(四)特征工程(简单特征探索)
人工智能·机器学习
Ryan老房3 小时前
未来已来-AI标注工具的下一个10年
人工智能·yolo·目标检测·ai
A_nanda3 小时前
c# MOdbus rto读写串口,如何不相互影响
算法·c#·多线程
丝斯20113 小时前
AI学习笔记整理(66)——多模态大模型MOE-LLAVA
人工智能·笔记·学习