Python数据分析与可视化笔记 二 机器学习与数据分析的关系 数据分析的基本步骤 Python和数据分析

机器学习与数据分析的关系

机器学习一开始研究的目的是让机器具有学习能力从而拥有智能。目前公认的定义是:利用经验来改善计算机系统自身的性能。由于经验在计算机系统中主要以数据形式存在,因此机器学习需要对数据进行分析。

数据分析的定义则是:识别出巨量数据中有效的、新颖的、潜在有用的、最终可理解的模式的非平凡过程,即从海量数据中找到有用的知识

数据分析的基本步骤

数据分析的基本步骤包括:数据收集-->数据预处理-->数据分析与知识发现-->数据后处理

(1)数据收集

以前的数据收集会有以下一些步骤:抽样、测量、编码、输入、核对。这是一种主动的数据收集方法。

但现有状况是,传感器、照相机等电子设备的普及导致大量的数据涌入,无法像传统的数据收集那样得到少而精的数据,而是大量的、冗余的、体量大且信息量少的数据。从这样的数据中得到所需要的信息的过程是目前数据分析的难点和重点。

(2)数据预处理

数据预处理过程是完成数据到信息 的过程。包括:首先对数据进行初步统计方面的分析 ,得到数据的基本档案;其次分析数据质量 ,从数据的一致性、完整性、准确性 以及及时性 四个方面分析;接着根据发现的数据质量问题对数据进行清洗 ,包括缺失值处理、噪声处理 等;最后对其进行特征提取,为后续的数据分析工作做准备。

(3)数据分析与知识发现

数据分析与知识发现是将预处理后的数据进行进一步的分析,完成信息到认识 的过程。主要分为有监督的分析无监督的分析 。有监督的分析包括分类分析、关联分析和回归分析 ;无监督的分析包括聚类分析、异常检测

(4)数据后处理

主要包括提供数据 给决策支撑系统、数据可视化等。

Python和数据分析

Python有三个优点:面向生产、强大的第三方库支持、胶水语言

相关推荐
守.护4 分钟前
云计算学习笔记——HTTP服务、NFS服务篇
笔记·学习·云计算
wdfk_prog20 分钟前
[Linux]学习笔记系列 -- lib/dump_stack.c 栈回溯打印(Stack Trace Dumping) 内核调试与错误诊断的基石
linux·运维·服务器·c语言·笔记·学习
i.ajls23 分钟前
无监督学习,推荐系统以及强化学习笔记
笔记·学习·机器学习
蓝倾97634 分钟前
小红书获取用户作品列表API接口操作指南
java·服务器·前端·python·电商开放平台·开放api接口
聆风吟º1 小时前
【Spring Boot 报错已解决】Web server failed to start. Port 8080 was already in use.
spring boot·笔记·技术干货
Suckerbin1 小时前
LAMPSecurity: CTF6靶场渗透
笔记·安全·web安全·网络安全
特种加菲猫1 小时前
并发编程的守护者:信号量与日志策略模式解析
linux·笔记·策略模式
yBmZlQzJ1 小时前
PyQt5 修改标签字体和颜色的程序
开发语言·python·qt
胖达不服输1 小时前
「日拱一码」081 机器学习——梯度增强特征选择GBFS
人工智能·python·算法·机器学习·梯度增强特征选择·gbfs
float_六七1 小时前
Java Stream流:从入门到精通
java·windows·python