数据挖掘一般框架

1. 数据探索

1.1 数据整体情况介绍

panda库中的to_datatime可以将时间戳转换成日常的时间格式

1.2 数据概况

查看数据量大小

查看前五行

查看每列属性含义

1.3 探索性数据分析(EDA)

1.3.1 缺失值可视化

利用 missingno 包

1.3.2 查看变量分布

在scipy模块中有 johnsonsu、norm、lognorm可以将数据分布绘出

2. 数据预处理

2.1 划分测试机何训练集

2.2 处理缺失值

2.3 数据清洗

处理"脏数据",脏数据是指不符合现实逻辑且会对模型预测效果产生干扰的数据。

3. 查看特征相关性

3.1 相关性计算

3.2 热力图展示

3.3 查看定类数据相关性

3.4 回归分析

4. 模型建立

4.1 Lasso 回归

4.2 特征重要性分析

绘制了交叉验证条形图

相关推荐
ctrl_v助手1 分钟前
Halcon学习笔记2
人工智能·笔记·学习
彭军辉3 分钟前
生命体AI和数字生命有什么区别
人工智能
Rauser Mack9 分钟前
AI大模型测评:GPT-5.5翻车、Claude封神——大模型选型的真相
人工智能·gpt·prompt
2601_9619460825 分钟前
AI API 网关实战:从单 Key 管理到企业级多租户架构
大数据·人工智能·金融·架构·api·个人开发
AI-好学者26 分钟前
GraphRAG与混合检索架构
人工智能·知识图谱
智写-AI1 小时前
真实有效的免费降英文AI工具服务商
人工智能·python
大鹏的NLP博客1 小时前
深度学习模型部署一致性验证规范
人工智能·深度学习
土星云SaturnCloud1 小时前
边缘计算驱动绿氢生产过程智能寻优:电解槽级实时优化技术解析
服务器·人工智能·ai·边缘计算
Urbano2 小时前
校服精细化缝制难点、全流程自动化改造方案与核心贴袋设备选型实操科普
人工智能