数据分析的基本步骤

了解过数据分析的概念之后,我们再来说下数据分析的常规步骤。

明确目标

首先我们要确定一个目标,即我们要从数据中得到什么。比如我们要看某个指标A随时间的变化趋势,以期进行简单的预测。

数据收集

当确定了目标之后,就有了取数的方向。比如我们要观察A随时间的变化,就要记录A的值。或者从已经记录了A的值的数据库、文件、日志等取数。

数据清洗和预处理

有时候我们收集的数据并不是完全有效的,或者并不能为我们的服务。这个时候就需要把这部分数据剔除。或者有时候我们收集到的是文本数据,需要做一下归类,使用数字等符号来做替代,方便做数据的相关性分析,这个时候就需要对数据左小处理。

探索性数据分析(EDA)

使用统计图表来多维度展示数据,更直观地去查看数据地特征。

数据分析和建模

选择适当的数据分析方法和建模技术,来将得到地结论模型化。比如把折线图拟合成曲线。

评估模型

使用测试数据测试模型,评估模型准确性。

利用模型

利用模型做一些数据预测,支撑我们目标之上地目标。

相关推荐
云空8 小时前
《解锁 Python 数据分析的强大力量》
python·数据挖掘·数据分析
m0_6632340112 小时前
python数据分析之爬虫基础:selenium详细讲解
爬虫·python·数据分析
赵钰老师15 小时前
结构方程模型【SEM】:非线性、非正态、交互作用及分类变量分析
分类·数据挖掘·数据分析·r语言
EterNity_TiMe_15 小时前
【论文复现】农作物病害分类(Web端实现)
前端·人工智能·python·机器学习·分类·数据挖掘
Bony-15 小时前
电商会员门店消费数据分析
数据挖掘·数据分析
汤姆yu16 小时前
python大数据国内旅游景点的数据爬虫与可视化分析
爬虫·数据分析·景点可视化
出发行进18 小时前
Hive其九,排名函数,练习和自定义函数
大数据·数据仓库·hive·hadoop·数据分析
高锰酸钾_21 小时前
Python数据可视化小项目
python·信息可视化·数据分析
Teng-Sun21 小时前
如何结合PCA、t-SNE/UMAP与聚类算法进行高维数据分析?
算法·数据分析·聚类
测试者家园21 小时前
ChatGPT助力数据可视化与数据分析效率的提升(二)
软件测试·人工智能·信息可视化·chatgpt·数据分析·用chatgpt做软件测试·测试图书