机器学习基本篇

1 基本概念

机器学习,分为 回归,分类,聚类,降维

有监督学习 回归,分类, 有特征,有标签,进行训练,然后对新数据进行预测

无监督学习 聚类,降维。

题目越多,训练越好,

2 基本流程

数据预处理------ 模型训练与评估

可以优化为 获取数据------数据预处理------EDA 分析------特征工程------模型训练------可解释性分析

2.0 数据获取

利用 kaggle, 天池 等平台的 开源 数据,

2.1 预处理

目的:

  1. 让数据更符合逻辑
  2. 让数据更容易计算
    借助函数实现变换 or 运算
认识数据

常用 pandas 包,是 python 中一个强大的数据分析和处理库。

其可以

  1. 数据处理,对数据进行 清洗,转换,合并,分组等操作,处理缺失的和重复的数据。
  2. 数据读取和写入, 如 CSV 格式,excel, JSON, SQL 等
  3. 对数据进行时间序列分析,移动窗口统计等操作

** 部分常用 API **

import pandas as pd

读取数据

df = pd.read_csv('data.csv')

查看数据

df.head()

显示数据集形状. (几行几列)

df.shape

查看数据集信息。 (特征的种类和标签)

Data.info

空值的数量

mean 均值

std 标准差

min 最小值

25% 第 25 百分位数

max 最大值

unique 唯一值数量

top 出现频率最高的值

freq 最高频率出现次数

显示数据集的统计特征,

df.decribe()

相关推荐
LHZSMASH!2 小时前
神经流形:大脑功能几何基础的革命性视角
人工智能·深度学习·神经网络·机器学习
青云交2 小时前
Java 大视界 --Java 大数据在智慧农业农产品市场价格预测与种植决策支持中的应用实战
机器学习·智慧农业·数据安全·农业物联网·价格预测·java 大数据·种植决策
大明者省3 小时前
图像卷积操值超过了255怎么处理
深度学习·神经网络·机器学习
小白狮ww3 小时前
模型不再是一整块!Hunyuan3D-Part 实现可控组件式 3D 生成
人工智能·深度学习·机器学习·教程·3d模型·hunyuan3d·3d创作
印象编程4 小时前
数据挖掘 | 决策树ID3算法
机器学习·数据挖掘
B站计算机毕业设计之家7 小时前
大数据python招聘数据分析预测系统 招聘数据平台 +爬虫+可视化 +django框架+vue框架 大数据技术✅
大数据·爬虫·python·机器学习·数据挖掘·数据分析
落羽的落羽9 小时前
【C++】现代C++的新特性constexpr,及其在C++14、C++17、C++20中的进化
linux·c++·人工智能·学习·机器学习·c++20·c++40周年
云雾J视界10 小时前
AI驱动半导体良率提升:基于机器学习的晶圆缺陷分类系统搭建
人工智能·python·机器学习·智能制造·数据驱动·晶圆缺陷分类
极客学术工坊13 小时前
2023年第二十届五一数学建模竞赛-A题 无人机定点投放问题-基于抛体运动的无人机定点投放问题研究
人工智能·机器学习·数学建模·启发式算法
Theodore_102214 小时前
深度学习(9)导数与计算图
人工智能·深度学习·机器学习·矩阵·线性回归