数据分析的基本步骤

了解过数据分析的概念之后,我们再来说下数据分析的常规步骤。

明确目标

首先我们要确定一个目标,即我们要从数据中得到什么。比如我们要看某个指标A随时间的变化趋势,以期进行简单的预测。

数据收集

当确定了目标之后,就有了取数的方向。比如我们要观察A随时间的变化,就要记录A的值。或者从已经记录了A的值的数据库、文件、日志等取数。

数据清洗和预处理

有时候我们收集的数据并不是完全有效的,或者并不能为我们的服务。这个时候就需要把这部分数据剔除。或者有时候我们收集到的是文本数据,需要做一下归类,使用数字等符号来做替代,方便做数据的相关性分析,这个时候就需要对数据左小处理。

探索性数据分析(EDA)

使用统计图表来多维度展示数据,更直观地去查看数据地特征。

数据分析和建模

选择适当的数据分析方法和建模技术,来将得到地结论模型化。比如把折线图拟合成曲线。

评估模型

使用测试数据测试模型,评估模型准确性。

利用模型

利用模型做一些数据预测,支撑我们目标之上地目标。

相关推荐
喂完待续6 小时前
【Tech Arch】Spark为何成为大数据引擎之王
大数据·hadoop·python·数据分析·spark·apache·mapreduce
源码宝8 小时前
【智慧工地源码】智慧工地云平台系统,涵盖安全、质量、环境、人员和设备五大管理模块,实现实时监控、智能预警和数据分析。
java·大数据·spring cloud·数据分析·源码·智慧工地·云平台
SelectDB9 小时前
Apache Doris 4.0 AI 能力揭秘(一):AI 函数之 LLM 函数介绍
数据库·人工智能·数据分析
数据超市9 小时前
香港数据合集:建筑物、手机基站、POI、职住数据、用地类型
大数据·人工智能·智能手机·数据挖掘·数据分析
SelectDB10 小时前
Apache Doris 在菜鸟的大规模湖仓业务场景落地实践
大数据·数据分析·开源
一个专注api接口开发的小白12 小时前
Python + 淘宝 API 开发:自动化采集商品数据的完整流程
前端·数据挖掘·api
ccut 第一混13 小时前
python基于机器学习进行数据处理与预测(火灾的三因素回归问题)
神经网络·机器学习·数据挖掘·回归·预测
极限实验室15 小时前
喜报!极限科技获得国际专利正式授权——美国发明专利《Data Partitioning Method and Data Processing Method》
数据挖掘
用户1997010801815 小时前
抖音商品列表API技术文档
大数据·数据挖掘·数据分析
木木子999916 小时前
第5问 对于数据分析领域,统计学要学到什么程度?
数据挖掘·数据分析