数据挖掘一般框架

1. 数据探索

1.1 数据整体情况介绍

panda库中的to_datatime可以将时间戳转换成日常的时间格式

1.2 数据概况

查看数据量大小

查看前五行

查看每列属性含义

1.3 探索性数据分析(EDA)

1.3.1 缺失值可视化

利用 missingno 包

1.3.2 查看变量分布

在scipy模块中有 johnsonsu、norm、lognorm可以将数据分布绘出

2. 数据预处理

2.1 划分测试机何训练集

2.2 处理缺失值

2.3 数据清洗

处理"脏数据",脏数据是指不符合现实逻辑且会对模型预测效果产生干扰的数据。

3. 查看特征相关性

3.1 相关性计算

3.2 热力图展示

3.3 查看定类数据相关性

3.4 回归分析

4. 模型建立

4.1 Lasso 回归

4.2 特征重要性分析

绘制了交叉验证条形图

相关推荐
我si绝版7 小时前
OpenClaw 安装步骤
人工智能
Seiran7 小时前
用Grok 4.7在ZEEKEAI啃长文档的提效实战
人工智能
Bacon7 小时前
给项目做一次"全身 CT":Agent Skills 生态里的代码体检全链路
前端·人工智能·后端
培培说证7 小时前
大专商务数据分析与应用可以报考哪些职业证书?
人工智能·数据挖掘·数据分析
pursuit_c8 小时前
关于 Personal Agent 的思考碎片
人工智能
龙腾AI白云8 小时前
具身智能的空间导航与未知环境探索
大数据·数据库·人工智能·机器学习·知识图谱
snakeshe10108 小时前
大模型 Function Call 实战入门:原理、环境搭建与多轮调用完整教程
人工智能
用户360055579008 小时前
Kestrel_VLLM - 43 · 默认化前的一次解耦:一个遮蔽 bug 与一次口径污染
人工智能
狒狒AI8 小时前
DeepSeek Harness 插件生态拆解:31,259 个仓库与 93% 装不上的口径差
人工智能
AI前端工程狮8 小时前
我把 MCP 长任务拆成三个工具,token 账单涨了 7 倍
javascript·人工智能·程序员