数据分析的基本步骤

了解过数据分析的概念之后,我们再来说下数据分析的常规步骤。

明确目标

首先我们要确定一个目标,即我们要从数据中得到什么。比如我们要看某个指标A随时间的变化趋势,以期进行简单的预测。

数据收集

当确定了目标之后,就有了取数的方向。比如我们要观察A随时间的变化,就要记录A的值。或者从已经记录了A的值的数据库、文件、日志等取数。

数据清洗和预处理

有时候我们收集的数据并不是完全有效的,或者并不能为我们的服务。这个时候就需要把这部分数据剔除。或者有时候我们收集到的是文本数据,需要做一下归类,使用数字等符号来做替代,方便做数据的相关性分析,这个时候就需要对数据左小处理。

探索性数据分析(EDA)

使用统计图表来多维度展示数据,更直观地去查看数据地特征。

数据分析和建模

选择适当的数据分析方法和建模技术,来将得到地结论模型化。比如把折线图拟合成曲线。

评估模型

使用测试数据测试模型,评估模型准确性。

利用模型

利用模型做一些数据预测,支撑我们目标之上地目标。

相关推荐
databook1 小时前
掌握相关性分析:读懂数据间的“悄悄话”
python·数据挖掘·数据分析
企业智能研究2 小时前
数据分析Agent白皮书:揭秘Data x AI的底层逻辑与未来关键
大数据·人工智能·数据分析
十六年开源服务商4 小时前
怎样做好WordPress网站数据分析与运维服务
运维·数据挖掘·数据分析
沃达德软件4 小时前
大数据治安防控中心
大数据·人工智能·信息可视化·数据挖掘·数据分析
anghost1506 小时前
基于 STM32 的湖泊水位报警系统设计
stm32·嵌入式硬件·数据挖掘
Lun3866buzha7 小时前
大型铸件表面缺陷检测与分类_YOLO11-C2BRA应用实践
人工智能·分类·数据挖掘
李慕婉学姐8 小时前
【开题答辩过程】以《基于python的气象灾害数据分析与可视化系统》为例,不知道这个选题怎么做的,不知道这个选题怎么开题答辩的可以进来看看
开发语言·python·数据分析
Wuhan87827211m8 小时前
微生物细胞检测与识别 大肠杆菌E.coli和其他细菌细胞自动检测与分类 RetinaNet+RegNet模型实现
人工智能·分类·数据挖掘
qq_12498707539 小时前
基于spark的新闻文本分类系统(源码+论文+部署+安装)
大数据·分类·数据挖掘·spark
OOOaaa1231231 天前
电子电路板元器件识别与分类_yolov8-fasternet-bifpn实现方案_1
yolo·数据挖掘