数据分析的基本步骤

了解过数据分析的概念之后,我们再来说下数据分析的常规步骤。

明确目标

首先我们要确定一个目标,即我们要从数据中得到什么。比如我们要看某个指标A随时间的变化趋势,以期进行简单的预测。

数据收集

当确定了目标之后,就有了取数的方向。比如我们要观察A随时间的变化,就要记录A的值。或者从已经记录了A的值的数据库、文件、日志等取数。

数据清洗和预处理

有时候我们收集的数据并不是完全有效的,或者并不能为我们的服务。这个时候就需要把这部分数据剔除。或者有时候我们收集到的是文本数据,需要做一下归类,使用数字等符号来做替代,方便做数据的相关性分析,这个时候就需要对数据左小处理。

探索性数据分析(EDA)

使用统计图表来多维度展示数据,更直观地去查看数据地特征。

数据分析和建模

选择适当的数据分析方法和建模技术,来将得到地结论模型化。比如把折线图拟合成曲线。

评估模型

使用测试数据测试模型,评估模型准确性。

利用模型

利用模型做一些数据预测,支撑我们目标之上地目标。

相关推荐
郭不耐9 小时前
DeepSeek智能时空数据分析(三):专业级地理数据可视化赏析-《杭州市国土空间总体规划(2021-2035年)》
人工智能·信息可视化·数据分析·毕业设计·数据可视化·城市规划
Olafur_zbj13 小时前
【EDA】EDA中聚类(Clustering)和划分(Partitioning)
机器学习·数据挖掘·聚类
Aloudata16 小时前
Aloudata Agent :基于 NoETL 明细语义层的分析决策智能体
数据分析·大模型·数据管理·noetl·智能问数·智能归因·智能报告
生信碱移17 小时前
大语言模型时代,单细胞注释也需要集思广益(mLLMCelltype)
人工智能·经验分享·深度学习·语言模型·自然语言处理·数据挖掘·数据可视化
量子-Alex18 小时前
【遥感图像分类】【综述】遥感影像分类:全面综述与应用
人工智能·分类·数据挖掘
阡之尘埃18 小时前
Python数据分析案例73——基于多种异常值监测算法探查内幕交易信息
人工智能·python·机器学习·数据分析·异常检测·无监督学习
薄荷很无奈1 天前
CuML + Cudf (RAPIDS) 加速python数据分析脚本
python·机器学习·数据分析·gpu算力
qq_436962181 天前
AI数据分析的利器:解锁BI工具的无限潜力
人工智能·数据挖掘·数据分析·ai数据分析
lilye661 天前
精益数据分析(24/126):聚焦第一关键指标,驱动创业成功
数据挖掘·数据分析
lilye661 天前
精益数据分析(20/126):解析经典数据分析框架,助力创业增长
大数据·人工智能·数据分析