Python数据分析与可视化笔记 二 机器学习与数据分析的关系 数据分析的基本步骤 Python和数据分析

机器学习与数据分析的关系

机器学习一开始研究的目的是让机器具有学习能力从而拥有智能。目前公认的定义是:利用经验来改善计算机系统自身的性能。由于经验在计算机系统中主要以数据形式存在,因此机器学习需要对数据进行分析。

数据分析的定义则是:识别出巨量数据中有效的、新颖的、潜在有用的、最终可理解的模式的非平凡过程,即从海量数据中找到有用的知识。

数据分析的基本步骤

数据分析的基本步骤包括:数据收集-->数据预处理-->数据分析与知识发现-->数据后处理。

(1)数据收集

以前的数据收集会有以下一些步骤:抽样、测量、编码、输入、核对。这是一种主动的数据收集方法。

但现有状况是,传感器、照相机等电子设备的普及导致大量的数据涌入,无法像传统的数据收集那样得到少而精的数据,而是大量的、冗余的、体量大且信息量少的数据。从这样的数据中得到所需要的信息的过程是目前数据分析的难点和重点。

(2)数据预处理

数据预处理过程是完成数据到信息 的过程。包括:首先对数据进行初步统计方面的分析 ,得到数据的基本档案;其次分析数据质量 ,从数据的一致性、完整性、准确性 以及及时性 四个方面分析;接着根据发现的数据质量问题对数据进行清洗 ,包括缺失值处理、噪声处理 等;最后对其进行特征提取,为后续的数据分析工作做准备。

(3)数据分析与知识发现

数据分析与知识发现是将预处理后的数据进行进一步的分析,完成信息到认识 的过程。主要分为有监督的分析 和无监督的分析 。有监督的分析包括分类分析、关联分析和回归分析 ;无监督的分析包括聚类分析、异常检测。

(4)数据后处理

主要包括提供数据 给决策支撑系统、数据可视化等。

Python和数据分析

Python有三个优点:面向生产、强大的第三方库支持、胶水语言

相关推荐
笑鸿的学习笔记1 分钟前
C++笔记之大块顺序写
java·c++·笔记
for_ever_love__9 分钟前
机器学习入门——手写线性回归与梯度下降
人工智能·python·学习·机器学习·线性回归
打工仔折腾 AI13 分钟前
从 Demo 到生产级 Agent:8 个关键设计机制与 Python 实现拆解
java·jvm·人工智能·后端·python·langchain·ai agent 实战
I Am a robert girl18 分钟前
当传感器学会“说谎“:拆解可靠性门控的稀疏惯性动捕融合
python·姿态估计·传感器融合·惯性动捕·imu传感器·可靠性门控·可穿戴计算
李航19831 小时前
AI定制柜建模,需要详细的建模规范和标准流程
人工智能·python·计算机视觉·ai·ai编程
沙漠之主1 小时前
Python 教学设计资料:从入门到实战的完整课程方案
爬虫·python
山岚的运维笔记2 小时前
ComfyUI NVIDIA安装教程:官方便携版下载+run_nvidia_gpu.bat启动,8G显存Windows实操
运维·服务器·windows·笔记·prompt·aigc·comfyui
ebiobiz3 小时前
极海 APM32 使用 Nimmake 编译指南
c++·python·单片机·嵌入式硬件·mcu
慢云智慧空间3 小时前
从智能终端到空间AI,慢云科技如何重新定义智慧建筑的核心能力?
人工智能·python·科技
2601_962885723 小时前
如何用 Python 做股价历史分位选股?(筛出处于历史低位的股票)
开发语言·python