Python数据分析与可视化笔记 二 机器学习与数据分析的关系 数据分析的基本步骤 Python和数据分析

机器学习与数据分析的关系

机器学习一开始研究的目的是让机器具有学习能力从而拥有智能。目前公认的定义是:利用经验来改善计算机系统自身的性能。由于经验在计算机系统中主要以数据形式存在,因此机器学习需要对数据进行分析。

数据分析的定义则是:识别出巨量数据中有效的、新颖的、潜在有用的、最终可理解的模式的非平凡过程,即从海量数据中找到有用的知识

数据分析的基本步骤

数据分析的基本步骤包括:数据收集-->数据预处理-->数据分析与知识发现-->数据后处理

(1)数据收集

以前的数据收集会有以下一些步骤:抽样、测量、编码、输入、核对。这是一种主动的数据收集方法。

但现有状况是,传感器、照相机等电子设备的普及导致大量的数据涌入,无法像传统的数据收集那样得到少而精的数据,而是大量的、冗余的、体量大且信息量少的数据。从这样的数据中得到所需要的信息的过程是目前数据分析的难点和重点。

(2)数据预处理

数据预处理过程是完成数据到信息 的过程。包括:首先对数据进行初步统计方面的分析 ,得到数据的基本档案;其次分析数据质量 ,从数据的一致性、完整性、准确性 以及及时性 四个方面分析;接着根据发现的数据质量问题对数据进行清洗 ,包括缺失值处理、噪声处理 等;最后对其进行特征提取,为后续的数据分析工作做准备。

(3)数据分析与知识发现

数据分析与知识发现是将预处理后的数据进行进一步的分析,完成信息到认识 的过程。主要分为有监督的分析无监督的分析 。有监督的分析包括分类分析、关联分析和回归分析 ;无监督的分析包括聚类分析、异常检测

(4)数据后处理

主要包括提供数据 给决策支撑系统、数据可视化等。

Python和数据分析

Python有三个优点:面向生产、强大的第三方库支持、胶水语言

相关推荐
2501_944452232 分钟前
外观设置 Cordova 与 OpenHarmony 混合开发实战
python
星e雨5 分钟前
ComfyUI 本地安装指导
python
张紫娃7 分钟前
日语中的音调
笔记
轻竹办公PPT15 分钟前
AI 自动生成 2026 年工作计划 PPT,哪种更接近可交付
人工智能·python·powerpoint
SatoshiGogo20 分钟前
强化学习笔记
笔记
dagouaofei21 分钟前
2026 年工作计划 PPT 框架怎么搭?AI 一步完成
python·powerpoint
zhongtianhulian21 分钟前
江苏物联网平台价格解析:5大方案报价与选型指南,助您精准控制
python
net3m3333 分钟前
websocket下发mp3帧数据时一个包被分包为几个子包而导致mp3解码失败而播放卡顿有杂音或断播的解决方法
开发语言·数据库·python
java1234_小锋34 分钟前
[免费]基于Python的天气预报(天气预测分析)(Django+sklearn机器学习+selenium爬虫)可视化系统【论文+源码+SQL脚本】
爬虫·python·selenium·天气预报·天气预测
Qhumaing35 分钟前
解决因为jupyter notebook修改路径下没有c.NotebookApp.notebook_dir而无法修改目录问题
ide·python·jupyter