【机器学习】机器学习学习笔记 - 监督学习 - KNN线性回归岭回归 - 02

监督学习

KNN (k-nearest neighbors)

  • KNN 是用 k 个最近邻的训练数据集来寻找未知对象分类的一种算法

在线工具网 - 各类免费AI工具合集,免费pdf转word等 https://orcc.online

python 复制代码
from sklearn import neighbors

# 分类
# 创建KNN分类器模型并进行训练
classifier = neighbors.KNeighborsClassifier(num_neighbors, weights='distance')
classifier.fit(X, y)

test_datapoint = [4.5, 3.6]

# 提取KNN分类结果
dist, indices = classifier.kneighbors([test_datapoint])

# 回归
# 定义并训练回归器
knn_regressor = neighbors.KNeighborsRegressor(n_neighbors, weights='distance')
# 预测
y_values = knn_regressor.fit(X, y).predict(x_values)

线性回归

  • 优点: 简单、速度快
  • 缺点: 普通线性回归对异常值敏感,会破坏整个模型, 可以使用岭回归的方法优化
  • 缺点: 拟合准确度相对不高
  • 回归是估计输入数据与连续值输出数据之间关系的过程
  • 线性回归的目标是提取输入变量与输出变量的关联线性模型
  • 普通最小二乘法(Ordinary Least Squares,OLS): 要求实际输出与线性方程, 预测的输出的残差平方和(sum of squares of differences)最小化
python 复制代码
# -*- coding: UTF-8 -*-

import sys
import numpy as np
from sklearn import linear_model
import matplotlib.pyplot as plt

# 数据准备
X = [1,2,3,4,5,6,7,8,9,10]
y = [22,22,23,24,25,27,27,30,29,30]

# 取80%的样本作为训练数据
num_training = int(0.8 * len(X))
num_test = len(X) - num_training

# 训练数据 80% reshape:(行数,列数)
# 行数:样本数
# 列数:特征数
X_train = np.array(X[:num_training]).reshape((num_training,1))
y_train = np.array(y[:num_training])

# 测试数据 20%
X_test = np.array(X[num_training:]).reshape((num_test,1))
y_test = np.array(y[num_training:])

# 创建线性回归对象
linear_regressor = linear_model.LinearRegression()

# 用训练数据集训练模型
linear_regressor.fit(X_train, y_train)

# 用训练好的模型预测测试数据集
# 预测数据
y_test_pred = linear_regressor.predict(X_test)
print('测试数据集的预测结果:',y_test_pred)
# 创建一个空白的窗口
plt.figure()
# 画出训练数据 散点图 -- 测试数据实际值
plt.scatter(X_test, y_test, color='green')
# 画出预测数据 折线图
plt.plot(X_test, y_test_pred, color='black', linewidth=4)
plt.title('Training data')
plt.show()

岭回归

  • 岭回归是一种线性回归模型, 它通过对数据进行截距处理, 使得回归系数的绝对值不超过给定阈值
  • 岭回归的优点是可以减小过拟合的风险, 并且可以处理异常值
  • 岭回归的缺点是它对数据进行了截距处理
python 复制代码
# 创建龄回归对象
# alpha:正则化力度, 控制回归器复杂度,趋近于0就是常规最小二乘法, 对异常值不敏感就设置一个较大值
# alpha取值范围为0~1小数值、1~10整数值
# fit_intercept:是否使用截距
# max_iter:最大迭代次数
ridge_regressor = linear_model.Ridge(alpha=0.8, fit_intercept=True, max_iter=100)

IT免费在线工具网 https://orcc.online

相关推荐
AI街潜水的八角39 分钟前
基于C++的决策树C4.5机器学习算法(不调包)
c++·算法·决策树·机器学习
喵~来学编程啦1 小时前
【论文精读】LPT: Long-tailed prompt tuning for image classification
人工智能·深度学习·机器学习·计算机视觉·论文笔记
几两春秋梦_2 小时前
符号回归概念
人工智能·数据挖掘·回归
Chef_Chen3 小时前
从0开始学习机器学习--Day13--神经网络如何处理复杂非线性函数
神经网络·学习·机器学习
Troc_wangpeng3 小时前
R language 关于二维平面直角坐标系的制作
开发语言·机器学习
-Nemophilist-3 小时前
机器学习与深度学习-1-线性回归从零开始实现
深度学习·机器学习·线性回归
苏格拉真没有底3 小时前
playground.tensorflow神经网络可视化工具
ai编程
艾派森4 小时前
大数据分析案例-基于随机森林算法的智能手机价格预测模型
人工智能·python·随机森林·机器学习·数据挖掘
5 小时前
开源竞争-数据驱动成长-11/05-大专生的思考
人工智能·笔记·学习·算法·机器学习
忘梓.5 小时前
划界与分类的艺术:支持向量机(SVM)的深度解析
机器学习·支持向量机·分类