人工智能学习:LR和SVM的联系与区别?

LR和SVM的联系与区别?

相同点:

(1) LR和SVM都可以处理分类问题 ,且--- 般都用于处理线性二 分类问题(在改进的情况下可以处理多分类问题)

(2)两个方 法都可以增加不同的正则化项 ,如L1、 L2等等。所以在很多实验中 ,两种算法的结果是很接近的。

区别:

(1) LR是参数模型, SVM是非参数模型。

(2)从目 标函数来看 ,区别在于逻辑回归采用 的是Logistical Loss ,SVM采用 的是hinge loss.这两个损失函数的目 的都是增加对分类影响较大 的数据点的权重 ,减少与分类关系较小 的数据点的权重。

(3) SVM的处理方 法是只考虑Support Vectors ,也就是和分类最相关的少数点 ,去学习分类器。 而逻辑回归通过 非 线性映射 ,大大 减小 了离分类平面 较远的点的权重 ,相对提升了与分类最相关的数据点的权重。

(4)逻辑回归相对来说模型更简单,好理解 ,特别是大 规模线性分类时比 较方 便。而SVM的理解和优化相对来说 复杂--- 些, SVM转化为对偶问题后,分类只需要计算与少数几 个支 持向量的距离,这个在进行 复杂核函数计算时优势 很明显,能够大大 简化模型和计算。

(5) Logic能做的SVM能做 ,但可能在准确率上有问题, SVM能做的Logic有的做不了。

相关推荐
weixin_446260852 小时前
LocalAI:一个免费开源的AI替代方案,让创意更自由!
人工智能·开源
CAE3202 小时前
基于机器学习的智能垃圾短信检测超强系统
人工智能·python·机器学习·自然语言处理·垃圾短信拦截
骄傲的心别枯萎2 小时前
RV1126 NO.37:OPENCV的图像叠加功能
人工智能·opencv·计算机视觉·音视频·视频编解码·rv1126
HyperAI超神经2 小时前
解决蛋白质构象异质性的原子级建模挑战!David Baker团队PLACER框架解析
人工智能·深度学习·ai·ai4s·蛋白质结构
TG:@yunlaoda360 云老大5 小时前
腾讯WAIC发布“1+3+N”AI全景图:混元3D世界模型开源,具身智能平台Tairos亮相
人工智能·3d·开源·腾讯云
这张生成的图像能检测吗5 小时前
(论文速读)Fast3R:在一个向前通道中实现1000+图像的3D重建
人工智能·深度学习·计算机视觉·3d重建
星释7 小时前
Rust 练习册 :Pythagorean Triplet与数学算法
开发语言·算法·rust
星释7 小时前
Rust 练习册 :Nth Prime与素数算法
开发语言·算法·rust
兴趣使然黄小黄8 小时前
【AI-agent】LangChain开发智能体工具流程
人工智能·microsoft·langchain
出门吃三碗饭8 小时前
Transformer前世今生——使用pytorch实现多头注意力(八)
人工智能·深度学习·transformer