(Python)数据分析:概念和流程

广义的数据分析包括狭义数据分析和数据挖掘。

狭义数据分析是指根据分析目的,采用对比分析、分组分析、交叉分析和回归分析等分析方法(位于上图技术层的算法模型和通用技术),对收集的数据进行处理与分析,提取有价值的信息,发挥数据的作用,得到一个特征统计量结果的过程。

《Python数据分析与应用》曾文权、张良均主编


数据分析已经逐渐演化为一种解决问题的过程,甚至是一种方法论。虽然每个公司都会根据自身需求和目标创建最适合的数据分析流程,但是数据分析的核心步骤是一致的。

《Python数据分析与应用》曾文权、张良均主编

一)需求分析

1、需求分析基础认知

来源:源于产品设计领域

定义:从用户提出的需求出发,挖掘其内心真实意图,并转化为产品需求的过程

2、产品设计中的需求分析

地位:是产品设计的第一步,且是极为关键的一步

作用:决定产品方向

错误影响:可能导致产品在实现过程中走向错误方向,甚至给企业带来损失

3、数据分析中的需求分析

地位:是数据分析环节的第一步,至关重要

作用:决定后续的分析方向和方法

主要内容:依据业务、生产和财务等部门的需求,结合现有数据情况,提出数据分析需求的整体分析方向与分析内容,最终与需求方达成一致意见

二) 数据获取

1、数据获取基础认知

基础地位:是数据分析工作的基础

定义:根据需求分析的结果提取、收集数据

2、数据获取主要方式

获取方式:网络抓取、库表抽取、共享交换

更新方式:通过全量、增量、拉链等方式更新

3、数据获取方式选择

依据需求分析的结果而定

三)数据预处理

1、数据预处理定义

对数据进行数据合并、数据清洗、数据标准化和数据变换等操作,并将数据用于分析建模的过程总称

2、主要操作内容

数据合并:将多张互相关联的表格合并为一张

数据清洗:去除重复、缺失、异常、不一致的数据

数据标准化:去除特征间的量纲差异

数据变换:通过离散化、哑变量处理等技术满足后期分析与建模的数据要求

3、过程特点

在数据分析过程中,各个过程互相交叉,没有明确的先后顺序

四)分析与建模

1、分析与建模定义

通过对比分析、分组分析、交叉分析、回归分析等分析方法,以及聚类模型、分类模型、关联规则、智能推荐等模型与算法,发现数据中有价值的信息,并得出结论的过程

2、方法选择依据

依据需求分析的结果而定

3、按目标分类的方法与模型

描述客户行为模式:采用描述型数据分析方法,可考虑关联规则、序列规则和聚类模型等

量化未来某事件发生概率:使用两大预测分析模型

  • 分类预测模型:目标特征通常为二元数据,如欺诈与否、流失与否、信用好坏等

  • 回归预测模型:目标特征通常为连续型数据,常见的有股票价格预测等

五)模型评价与优化

1、模型评价

定义:对于已经建立的一个或多个模型,根据其模型的类别,使用不同的指标评价模型性能优劣的过程

常用指标

  • 聚类模型:ARI 评价法(兰德系数)、AMI 评价法(互信息)、V-measure 评分、FMI 评价法和轮廓系数等

  • 分类模型:准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1 值(F1 Value)、ROC 和 AUC 等

  • 回归模型:平均绝对误差、均方误差、中值绝对误差和可解释方差值等

2、模型优化

定义:模型性能在经过模型评价后已达到要求,但在实际生产环境应用中发现性能不理想,继而对模型进行重构与优化的过程

与分析建模的关系:多数情况下,模型优化和分析与建模的过程基本一致

六)模型部署

部署是指将数据分析结果与结论应用至实际生产系统的过程。

根据需求的不同,部署阶段可以是一份包含了现状具体整改措施的数据分析报告,也可以是将模型部署在整个生产系统的解决方案。

在多数项目中,数据分析师提供的是一份数据分析报告或一套解决方案,实际执行与部署的是需求方。

相关推荐
第404号工位4 分钟前
离职退电脑前别只点“清空回收站”!手把手教你彻底抹除凭证与数字痕迹
linux·python·架构
Metaphor69217 分钟前
使用 Python 在 Word 文档中添加、修改和删除变量
python·word
終不似少年遊*30 分钟前
【AI Coding实战方法论】从计划协作到架构护栏,一套能长期复用的工程流程
人工智能·python·团队开发·ai编程·ai coding·skills·上下文管理
lusklusklusk31 分钟前
Python 全局变量与局部变量区别——global 关键字、__main__ 块与作用域示例
开发语言·前端·python
马剑威(威哥爱编程)1 小时前
Python 智能体开发实战 01:装了三遍环境还在报错?虚拟环境和 DeepSeek 一次配到位
开发语言·人工智能·python·agent
卷无止境1 小时前
Skill 的安全边界在哪里:风险来源、验证思路与用户可用的防线
后端·python
TomEval1 小时前
【测AI】第22篇:Agent 系统测试方法 — AI 学会“动手“了
人工智能·python·prompt·aigc·测试用例
速易达网络2 小时前
如何“训练”一个 .task 模型
python
PiaoKe___2 小时前
云手机技术解析:从 ARM 虚拟化到 Python 自动化实战
python·智能手机·自动化
学习论之费曼学习法2 小时前
无人值守AI内容矩阵实战(10):Windows 上让 Python 进程 7×24 活着
人工智能·windows·python·矩阵·powershell·进程守护