机器学习基本篇

1 基本概念

机器学习,分为 回归,分类,聚类,降维

有监督学习 回归,分类, 有特征,有标签,进行训练,然后对新数据进行预测

无监督学习 聚类,降维。

题目越多,训练越好,

2 基本流程

数据预处理------ 模型训练与评估

可以优化为 获取数据------数据预处理------EDA 分析------特征工程------模型训练------可解释性分析

2.0 数据获取

利用 kaggle, 天池 等平台的 开源 数据,

2.1 预处理

目的:

  1. 让数据更符合逻辑
  2. 让数据更容易计算
    借助函数实现变换 or 运算
认识数据

常用 pandas 包,是 python 中一个强大的数据分析和处理库。

其可以

  1. 数据处理,对数据进行 清洗,转换,合并,分组等操作,处理缺失的和重复的数据。
  2. 数据读取和写入, 如 CSV 格式,excel, JSON, SQL 等
  3. 对数据进行时间序列分析,移动窗口统计等操作

** 部分常用 API **

import pandas as pd

读取数据

df = pd.read_csv('data.csv')

查看数据

df.head()

显示数据集形状. (几行几列)

df.shape

查看数据集信息。 (特征的种类和标签)

Data.info

空值的数量

mean 均值

std 标准差

min 最小值

25% 第 25 百分位数

max 最大值

unique 唯一值数量

top 出现频率最高的值

freq 最高频率出现次数

显示数据集的统计特征,

df.decribe()

相关推荐
啦啦啦_99996 小时前
5. 迁移学习
人工智能·机器学习·迁移学习
Eloudy13 小时前
ns-3 网络仿真简介
网络·机器学习·量子计算·量子力学
zhengzhouliuhaha14 小时前
智能医疗设备控费系统:以全院一体化管控,筑牢医疗资源“安全阀”
大数据·数据结构·人工智能·算法·安全·机器学习·软件需求
装不满的克莱因瓶14 小时前
RLHF中的PPO算法——大语言模型对齐优化的核心引擎
人工智能·python·深度学习·算法·机器学习·语言模型·自然语言处理
王小王-12314 小时前
深度学习赋能:基于机器学习的恶意 URL 检测系统
人工智能·机器学习·恶意网址检测·恶意url检测·异常网址检测·机器学习异常网址检测
硅谷秋水16 小时前
NVIDIA OmniDreams:用于闭环自动驾驶仿真、支持实时生成的世界模型
人工智能·深度学习·机器学习·计算机视觉·自动驾驶
王小王-12317 小时前
基于机器学习的垃圾短信检测研究
大数据·人工智能·机器学习·垃圾短信检测·垃圾短信识别
popcorn_min17 小时前
Wine Quality 可复现机器学习实验:随机森林二分类实战
随机森林·机器学习·分类
谷哥的小弟17 小时前
大模型核心基础知识(17)—梯度下降
人工智能·深度学习·机器学习·大模型·大语言模型·梯度下降
数智工坊17 小时前
周志华《Machine Learning》学习笔记--第十五章--规则学习
笔记·学习·机器学习