机器学习:概述2(建模流程,特征工程和鸢尾花案例)

目录标题

一、建模流程

1.获取数据

2.数据基本处理

3.特征工程

4.机器学习(模型训练)

5.模型评估

  1. 模型预测

二、特征工程

特征提取,特征预处理,特征降维,特征选择,特征组合

重点是:特征提取和特征预处理

利用专业背景知识和技巧处理数据,让机器学习算法效果最好,这个过程就是特征工程

数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限而已

  • 特征提取
  • 特征预处理
    特征预处理:
    两种解决办法:
    采用归一化(受到最大值和最小值影响),标准化(均值)
  • 特征降维
  • 特征选择
  • 特征组合

特征工程下 特征预处理

归一化公式:

标准化公式:

标准化代码api调用

看下面结果:以第一列特征为例

对比:

三、拟合

泛化:模型在新数据集(非训练数据)上的表现好坏的能力 = 模型的拟合情况

奥卡姆剃刀原则: 给定两个具有相同泛化失误的模型,较简单的模型比复杂的模型更可取

四、鸢尾花案例

步骤:

加载数据,数据预处理,特征工程,模型训练,模型评估,模型预测

第一步: 利用导入包获取鸢尾花测试数据

第二步: 利用导入的包,将测试数据分为训练集和测试集(第四个参数要给,不然每次生成随机数据都不一致)

PPT实例代码

第三步: 特征处理

第四,五步 训练模型,模型预测(用测试集预测)

第四,五步 训练模型,模型预测(用自定义预测)

第六步 训练评估

相关推荐
这张生成的图像能检测吗5 小时前
(论文速读)LogSAD:无需训练的结构异常与逻辑异常统一检测
人工智能·机器学习·计算机视觉·大模型·多模态·异常检测
Rocky Ding*8 小时前
深入浅出完整解析FLUX.2、Seedream(即梦)、Z-image、Qwen-Image、GLM-Image核心基础知识
论文阅读·人工智能·深度学习·机器学习·aigc·扩散模型·ai-native
Ivanqhz8 小时前
MLA、DSA、CSA、HCA
人工智能·算法·机器学习
RockHopper20259 小时前
数字机制与未来企业运行模式(概要版)
人工智能·机器学习·智能体·agent 工程
CAE虚拟与现实10 小时前
MLP多层感知机(Multilayer Perceptron)
人工智能·机器学习·mlp
薛定e的猫咪12 小时前
(AISTATS 2023)BaCaDI 逐章阅读
人工智能·深度学习·算法·机器学习
accept 99%13 小时前
拆开Jev 的原理和本地跑法 Jev科普(二)
人工智能·机器学习
Ivanqhz13 小时前
MQA、GQA、稀疏/滑动窗口注意力及混合范式
人工智能·算法·机器学习
DevOps老兵13 小时前
AIOps实战03:两代AIOps,传统机器学习与大模型该怎么配合
人工智能·机器学习·大模型·llm·aiops·老计聊技术
数聚天成DeepSData14 小时前
OPUS 不是一份统一许可证的语料:子语料许可如何逐项管理?
人工智能·深度学习·机器学习·数据集·deepsdata