机器学习 | 回归算法原理——多项式回归

Hi,大家好,我是半亩花海。接着上次的最速下降法(梯度下降法)继续更新《白话机器学习的数学》 这本书的学习笔记,在此分享多项式回归这一回归算法原理。本章的回归算法原理基于**《基于广告费预测点击量》**项目,欢迎大家交流学习!

目录

一、多项式回归概述

二、案例分析

[1. 设置问题](#1. 设置问题)

[2. 定义模型](#2. 定义模型)

[3. 多项式回归](#3. 多项式回归)


一、多项式回归概述

多项式回归是一种基于多项式函数的回归分析 方法,用于拟合数据中的非线性关系 。与简单的线性回归不同,多项式回归通过引入多项式项来建模数据的非线性特征,从而提高了模型的灵活性和适用性。


二、案例分析

1. 设置问题

还记得前两节我们定义的用于预测的一次函数吗?

因为是一次函数,所以它的图像是直线。

不过,对于一开始我在图中添加的数据点来说,直线一定是最好的拟合方式吗?曲线拟合的效果会更好吗?

2. 定义模型

通过清晰直观地观察下图,并经过探索我们会发现,其实曲线相对来说会比直线拟合得更好

如此看来,曲线似乎看起来更拟合数据。在此,我们可以把 定义为二次函数,便能用它来表示这条曲线,如下所示:

再或者,用更大次数的表达式也可以。这样就能表示更复杂的曲线了,如下所示:

在找出最合适的表达式之前,需要不断地去尝试。当然这里有个误区,并不是说函数次数越大,拟合得就越好,难免也会出现过拟合的问题(在深度学习中会接触到)。

3. 多项式回归

回到我们定义的二次函数中,我们增加了 这个参数,接下来得需要推导出 更新表达式,和上一节《机器学习 | 回归算法原理------最速下降法(梯度下降法)-CSDN博客》里面的原理一样,用目标函数对 进行偏微分便就能求出来。

,再将 偏微分,求出更新表达式。 微分即 的部分应该和前一节里的求法是一样的,如下式。

所以我们只要求 的微分即可,如下式。

得出最终的参数更新表达式如下所示:

那么即使增加参数,比如有 等,我们依然可以用同样的的方法求出它们的更新表达式。像这样增加函数中多项式的次数 ,然后再使用函数的分析方法(偏微分) 被称为多项式回归

相关推荐
zy_destiny6 分钟前
【工业场景】用YOLOv12实现饮料类别识别
人工智能·python·深度学习·yolo·机器学习·计算机视觉·目标跟踪
lovebugs1 小时前
K8s面试第一篇:初识Kubernetes——核心概念与组件详解
后端·算法·面试
HelloDam1 小时前
基于元素小组的归并排序算法
后端·算法·排序算法
HelloDam1 小时前
基于连贯性算法的多边形扫描线生成(适用于凸多边形和凹多边形)【原理+java实现】
算法
uhakadotcom2 小时前
Apache Airflow入门指南:数据管道的强大工具
算法·面试·github
跳跳糖炒酸奶3 小时前
第四章、Isaacsim在GUI中构建机器人(2):组装一个简单的机器人
人工智能·python·算法·ubuntu·机器人
绵绵细雨中的乡音3 小时前
动态规划-第六篇
算法·动态规划
程序员黄同学3 小时前
动态规划,如何应用动态规划解决实际问题?
算法·动态规划
march_birds3 小时前
FreeRTOS 与 RT-Thread 事件组对比分析
c语言·单片机·算法·系统架构
斯汤雷4 小时前
Matlab绘图案例,设置图片大小,坐标轴比例为黄金比
数据库·人工智能·算法·matlab·信息可视化