数据挖掘与机器学习

一. 机器学习的种类

1. 有监督的机器学习 :

分类 :

  • KNN 最近邻
  • 逻辑回归 - 朴素贝叶斯估计
  • SVM 线性 或 非线性 优化模型
  • 决策树模型 - 随机森林 - 其它集成模型
  • lightGBM - XGBOOST

回归:

  • 线性
  • 非线性
  • 加权平均回归

2.无监督的机器学习 :

  • 聚类
  • 关联
  • 特征处理

二. KNN ( K最近邻 )

复制代码
argmax()  # 只返回索引

特征值(Features):(特征数据必须是2维数据)

特征值是用来描述样本的属性或特征的值。在KNN中,每个样本都被表示为一个特征向量,其中每个特征对应向量中的一个维度。例如,在一个二维空间中,特征向量可以由两个特征值构成,分别表示样本在X轴和Y轴上的坐标。
2.

标签(Labels):

标签是我们希望预测的值,或者是我们希望将样本分类到的类别。在分类问题中,每个样本都有一个类别标签,而在回归问题中,标签通常是一个连续的数值。在KNN中,我们使用已知的特征值和标签构建模型,然后根据新的特征值预测或分类其对应的标签。

python 复制代码
np.bincount([1,1,2,2,2,2,4,4,4,4]) # 看下标为几的出现几次

下标为0的 没有出现 0
下标为1,数字也为1的出现2次
下标为2 数字也为2的出现4次
下标为3,数字为3 为0次  
下标为4,数字为3 为4次 
答案是 (0,2,4,0,4)

三. KNN运用(字符识别、文本分类、图像识别),通过你的邻居判断你是什么类别

python 复制代码
# 选几个邻居 进行分类 
sklearn.neighbors.KNeighborsClassfier(n_neighbors=5)
 n_neighbors = 5 是默认的

#获取数据
x = [[1],[2],[0],[0]]
y = [1,1,0,0]

# 机器学习
# 1. 实例化一个训练模型
estimator = KNeighborsClassfier(n_neighbors=2)

2. 调用fit方法进行训练
estimator.fit(x,y)

3. 预测其他值
ret = estimator.predict([-1])
print(ret)

四. K值的选取

  • K值过小: 过拟合,容易受异常点影响, 因为用较小的领域中训练实例进行预测
  • k值过大 : 欠拟合,容易受到样本均衡的问题
相关推荐
硅谷秋水1 小时前
面向精确到达任务的机器人-对齐3D高斯溅射方法——基于腕部-相机VLA策略
数码相机·机器学习·计算机视觉·3d·机器人
龙腾AI白云3 小时前
数字孪生与计算机视觉:让机器看懂现场
大数据·数据库·机器学习·知识图谱·pygame
高洁0116 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
在所不辞兄17 小时前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习
Oiiouui20 小时前
原始CNN识别与训练模型实现
神经网络·机器学习·cnn
罗西的思考1 天前
【轻量化复现大模型 / KIMI K3】训练模块梳理 & Muon P2P 优化器
人工智能·深度学习·机器学习
伞伞悦读1 天前
【第90期】KNN分类回归流水线与K值对照的实验与排查
大数据·人工智能·python·深度学习·机器学习
注塑机数据采集联网1 天前
注塑机智能数据采集联网网关 ZK-D1/D3 如何读取力劲注塑机控制器数据并对接 MES/IOT 平台
大数据·网络·物联网·数据挖掘·注塑机网关
翰墨之道2 天前
AI日报:豆包工作ARR超20亿,GPT-6.2跑分与实测割裂
人工智能·gpt·数据挖掘
塑料铲子2 天前
你的 Skill 越多越蠢?Token 上下文爆炸的求生指南
机器学习·agent