人工智能之机器学习5-回归算法1【培训机构学习笔记】

培训内容:

模型评估

培训班上课的PPT里很多错误,即使讲了很多年也从没改正过来。

而且很多字母没有给出具体的解释,比如RSS和TSS,对初学者非常不友善。

个人学习:

分类和回归的区别

回归和分类 是机器学习和统计学中两种常见的监督学习任务,二者主要在以下几个方面存在区别:

目标

  • 回归 :主要用于预测一个连续的数值型目标变量,例如预测房价、股票价格、气温等。其目标找到输入特征与连续输出之间的映射关系,使得预测值尽可能接近真实的数值
  • 分类 :则是将输入数据划分到不同的类别中输出是离散的类别标签,比如判断一封邮件是垃圾邮件还是正常邮件,一张图片是猫还是狗等,旨在找到输入特征与类别之间的决策边界,以准确地对数据进行分类。

输出变量类型

  • 回归输出的是一个数值,这个数值可以是整数,也可以是实数,例如预测的房价可能是 50.5 万元,股票价格可能是 123.45 元等。
  • 分类输出的是有限个离散的类别,如二分类问题中的正类和负类,分别用 0 和 1 表示;或者多分类问题中的不同类别,如 A、B、C 等。

评估指标

  • 回归 :常用的评估指标有均方误差(MSE)平均绝对误差(MAE)均方根误差(RMSE)等这些指标衡量的是预测值与真实值之间的差异程度,差异越小,说明回归模型的性能越好。
    • 均方误差的计算公式 为:,其中 是真实值, 是预测值, n是样本数量。
    • 平均绝对误差的计算公式 为:
    • 均方根误差 则是均方误差的平方根 ,即
  • 分类 :常见的评估指标包括准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1 值等。

模型选择

回归
  • 常见的回归模型线性回归、多项式回归、岭回归、Lasso 回归等。
  • 线性回归 假设输入特征与输出之间存在线性关系,通过最小二乘法等方法拟合出最佳的线性模型;
  • 多项式回归 则可以处理非线性关系,通过增加特征的幂次来构建更复杂的模型;
  • 岭回归Lasso 回归 则是在普通线性回归的基础上加入了正则化项,用于防止过拟合
分类
  • 常用的分类模型逻辑回归、决策树、支持向量机、朴素贝叶斯、神经网络等
  • 逻辑回归 虽然名字中带有 "回归",但实际上是一种用于二分类的广义线性模型 ,它通过 Sigmoid 函数将线性回归的结果映射到 0 到 1 之间,从而得到属于正类的概率
  • 决策树 通过构建树状结构来进行分类决策每个内部节点是一个属性上的测试,分支是测试输出,叶节点是类别或类别分布;
  • 支持向量机 则是寻找一个最优的超平面来将不同类别的数据分开
  • 朴素贝叶斯基于贝叶斯定理和特征条件独立假设来计算属于各个类别的概率,从而进行分类
  • 神经网络通过多个神经元组成的网络结构来学习复杂的分类边界,具有很强的非线性拟合能力

损失函数

  • 回归 :通常使用均方误差损失函数 ,即模型预测值与真实值之间差的平方和的平均值 。其目的是使预测值尽可能地接近真实值,通过最小化均方误差来调整模型的参数
  • 分类不同的分类模型使用的损失函数有所不同。例如,逻辑回归使用对数损失函数,也称为交叉熵损失函数,它衡量的是预测概率分布与真实概率分布之间的差异,通过最小化交叉熵损失来优化模型参数,使得预测的类别概率更加接近真实的类别分布;支持向量机使用合页损失函数,其目标是找到一个能够最大化间隔的超平面,使得分类错误的样本尽可能少,并且尽可能远离决策边界。

回归和分类目标、输出变量类型、评估指标、模型选择和损失函数等方面都存在明显的区别 ,在实际应用中,需要根据具体的问题和数据特点来选择合适的任务类型和相应的模型。

相关推荐
星座5282 分钟前
基于现代R语言【Tidyverse、Tidymodel】的机器学习方法与案例分析
机器学习·r语言·tidyverse·tidymodel
静心问道4 分钟前
TrOCR: 基于Transformer的光学字符识别方法,使用预训练模型
人工智能·深度学习·transformer·多模态
说私域6 分钟前
基于开源AI大模型、AI智能名片与S2B2C商城小程序源码的用户价值引导与核心用户沉淀策略研究
人工智能·开源
亲持红叶7 分钟前
GLU 变种:ReGLU 、 GEGLU 、 SwiGLU
人工智能·深度学习·神经网络·激活函数
说私域7 分钟前
线上协同办公时代:以开源AI大模型等工具培养网感,拥抱职业变革
人工智能·开源
群联云防护小杜9 分钟前
深度隐匿源IP:高防+群联AI云防护防绕过实战
运维·服务器·前端·网络·人工智能·网络协议·tcp/ip
摘星编程14 分钟前
构建智能客服Agent:从需求分析到生产部署
人工智能·需求分析·智能客服·agent开发·生产部署
不爱学习的YY酱18 分钟前
信息检索革命:Perplexica+cpolar打造你的专属智能搜索中枢
人工智能
whaosoft-1431 小时前
51c自动驾驶~合集7
人工智能
刘晓倩4 小时前
Coze智能体开发实战-多Agent综合实战
人工智能·coze