数据分析的基本步骤

了解过数据分析的概念之后,我们再来说下数据分析的常规步骤。

明确目标

首先我们要确定一个目标,即我们要从数据中得到什么。比如我们要看某个指标A随时间的变化趋势,以期进行简单的预测。

数据收集

当确定了目标之后,就有了取数的方向。比如我们要观察A随时间的变化,就要记录A的值。或者从已经记录了A的值的数据库、文件、日志等取数。

数据清洗和预处理

有时候我们收集的数据并不是完全有效的,或者并不能为我们的服务。这个时候就需要把这部分数据剔除。或者有时候我们收集到的是文本数据,需要做一下归类,使用数字等符号来做替代,方便做数据的相关性分析,这个时候就需要对数据左小处理。

探索性数据分析(EDA)

使用统计图表来多维度展示数据,更直观地去查看数据地特征。

数据分析和建模

选择适当的数据分析方法和建模技术,来将得到地结论模型化。比如把折线图拟合成曲线。

评估模型

使用测试数据测试模型,评估模型准确性。

利用模型

利用模型做一些数据预测,支撑我们目标之上地目标。

相关推荐
高洁0116 小时前
大模型落地行业第一线
人工智能·数据挖掘·transformer·virtualenv·知识图谱
数据蜂巢21 小时前
中国地面资料V3数据集
数据分析
白玉cfc1 天前
【iOS】底层原理:分类、扩展和关联对象
ios·分类·数据挖掘
乔江seven1 天前
【python 数据分析】 Numpy、pandas、matplotlib
数据分析·numpy·pandas
wayz111 天前
Momentum:CTI(相关趋势指标)技术指标详解
算法·金融·数据分析·量化交易·特征工程
yingjie1101 天前
Scanpy 单细胞转录组分析完整流程(上):从原始数据到细胞聚类
机器学习·数据挖掘·聚类
zxsz_com_cn2 天前
工厂中需要预测性维护的关键设备
人工智能·数据挖掘
码界筑梦坊2 天前
282-基于Python的豆瓣音乐可视化分析推荐系统
开发语言·python·信息可视化·数据分析·flask·vue
汽车仪器仪表相关领域2 天前
Kvaser Hybrid CAN/LIN 单通道三合一总线分析仪:高性价比CAN FD/LIN集成测试利器
运维·服务器·网络·数据挖掘·数据分析·单元测试·集成测试
KaMeidebaby2 天前
卡梅德生物技术快报|基因测序技术在 46,XY 性发育障碍变异筛查中的流程与数据分析
服务器·前端·数据库·人工智能·算法·数据挖掘·数据分析