机器学习:概述2(建模流程,特征工程和鸢尾花案例)

目录标题

一、建模流程

1.获取数据

2.数据基本处理

3.特征工程

4.机器学习(模型训练)

5.模型评估

  1. 模型预测

二、特征工程

特征提取,特征预处理,特征降维,特征选择,特征组合

重点是:特征提取和特征预处理

利用专业背景知识和技巧处理数据,让机器学习算法效果最好,这个过程就是特征工程

数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限而已

  • 特征提取
  • 特征预处理
    特征预处理:
    两种解决办法:
    采用归一化(受到最大值和最小值影响),标准化(均值)
  • 特征降维
  • 特征选择
  • 特征组合

特征工程下 特征预处理

归一化公式:

标准化公式:

标准化代码api调用

看下面结果:以第一列特征为例

对比:

三、拟合

泛化:模型在新数据集(非训练数据)上的表现好坏的能力 = 模型的拟合情况

奥卡姆剃刀原则: 给定两个具有相同泛化失误的模型,较简单的模型比复杂的模型更可取

四、鸢尾花案例

步骤:

加载数据,数据预处理,特征工程,模型训练,模型评估,模型预测

第一步: 利用导入包获取鸢尾花测试数据

第二步: 利用导入的包,将测试数据分为训练集和测试集(第四个参数要给,不然每次生成随机数据都不一致)

PPT实例代码

第三步: 特征处理

第四,五步 训练模型,模型预测(用测试集预测)

第四,五步 训练模型,模型预测(用自定义预测)

第六步 训练评估

相关推荐
明志数科1 小时前
机器人商业化验证中 真工业场景数据与训练场数据的差异分析
人工智能·机器学习
tellmewhoisi3 小时前
机器学习:线性回归2(前置知识,导数,矩阵)
机器学习
nagualky1234 小时前
AI Agent上线后怎么升级?先建立一套可回滚的变更控制
人工智能·机器学习·语言模型·软件工程
宁渡AI大模型6 小时前
河南宁渡科技有限公司|宁渡课堂 AI 全栈面试分享,RAG 项目面试深挖问题解析
人工智能·机器学习·rag
罗西的思考15 小时前
[Agent Memory / 强化学习] MemPO源码学习笔记 --- (2)--- 训练
人工智能·算法·机器学习
宣宣猪的小花园.20 小时前
【机器学习】损失函数与梯度下降:机器如何通过“犯错”不断变好
人工智能·算法·机器学习
Zzj_tju1 天前
Embodied Agent 小环境:用状态日志解释成功、绕路与超时
人工智能·深度学习·机器学习·自然语言处理
地平线开发者1 天前
模型部署|征程6 量化路线怎么选:PTQ 还是 QAT?
神经网络·算法·机器学习