数据挖掘一般框架

1. 数据探索

1.1 数据整体情况介绍

panda库中的to_datatime可以将时间戳转换成日常的时间格式

1.2 数据概况

查看数据量大小

查看前五行

查看每列属性含义

1.3 探索性数据分析(EDA)

1.3.1 缺失值可视化

利用 missingno 包

1.3.2 查看变量分布

在scipy模块中有 johnsonsu、norm、lognorm可以将数据分布绘出

2. 数据预处理

2.1 划分测试机何训练集

2.2 处理缺失值

2.3 数据清洗

处理"脏数据",脏数据是指不符合现实逻辑且会对模型预测效果产生干扰的数据。

3. 查看特征相关性

3.1 相关性计算

3.2 热力图展示

3.3 查看定类数据相关性

3.4 回归分析

4. 模型建立

4.1 Lasso 回归

4.2 特征重要性分析

绘制了交叉验证条形图

相关推荐
llqbzllll5 分钟前
Spring AI 工具调用不是反射一下就结束:用 2.0.1 跑通失败恢复与调用上限
人工智能·后端
北冥有鱼被烹5 分钟前
砷化镓与磷化铟:光模块的地基——从化学键到AI缺货潮的底层逻辑
人工智能·python
xiaohaiAIgeo16 分钟前
【2026年】通风柜合规检查清单:安全评估打分项解析
人工智能·安全·科普知识
回眸&啤酒鸭18 分钟前
【回眸】Space-Bunny-Alpha 智能场景应用实战指南
人工智能
CVer儿19 分钟前
基于文本提示 视觉提示的主流模型
人工智能·自然语言处理·知识图谱
看浪的路人23 分钟前
第6讲:敏感数据检测与脱敏
人工智能·深度学习
倔强的石头10629 分钟前
ChatGLM系列解析_清华智谱大模型技术路线
人工智能·大模型
龙亘川33 分钟前
数智驱动民政升级 精准守护民生保障
大数据·数据库·人工智能
IanSkunk1 小时前
长葛儿童近视防控的一个真问题:机构能做与不能做的边界,从建档到转诊的流程拆解
人工智能
码云之上1 小时前
把网页变成可引用知识——Chatbot 联网工具
人工智能·架构·agent