现代信号处理9_正则化(CSDN_20240512)

正则化的引入

解线性方程组:

这项工作有很多种做法,下面介绍两种,如下图所示,有一些数据点需要拟合,拟合的方法有很多。

1) 构造线性函数①,这种函数比较简单,此时

2) 构造函数②,通过插值,实现对已有数据的完美拟合,模型比较复杂,得到一个多项式:

下面考虑模型选择(Model Selection)问题: 现在数据已经得到,但对它们有两种看法:

  1. 构造一个简单的模型:比如一条直线,只有两个参数,在这个模型下存在误差,由于N>n ,所以方程个数比未知数个数多,只能使用最小二乘法。
  2. 构造一个复杂的模型:非线性的多项式模型,且次数不低于N,将X从一个长矩阵变成一个方阵(N=n ),此时,对已有数据完美拟合,没有误差。

关于这里的误差,通常分为两类:训练误差(Training Error)和测试误差(Test Error),其中训练误差就是统计上的均方误差,测试误差就是预测误差。

训练误差:存在于现在已有的数据中,即用现有数据进行训练或学习时引入的误差。

测试误差:存在于新的数据中,当新的数据到来时,对其拟合时引入的误差。

上面的两个模型相比,第一个模型比较简单,而且保持了一种"弹性",使得新数据到来时,模型有较好的适应能力,那么我们选择哪个模型更好呢?这种模型选择问题,在统计上又叫做Bais-Variance Tradeoff:均方误差包括偏差和方差,其中偏差是指数据的期望和真值的偏差,方差是指估计的抖动和误差,那么估计一定要无偏吗?答案是不一定,因为在总体均方误差一定的条件下,由于偏差是系统误差,容易纠正,而均方误差是随机的,难以控制,所以适当牺牲一些无偏性,可以得到估计起伏的减小。

现有很多数据以及与其相配合的系数:

Tikhonov正则化

对于一个模型,试图做下面的优化:

希望得到的模型既满足约束条件,同时又是最简单的,这就是一个多(双)目标优化问题。这个优化问题可以等价为:

在优化过程中,不仅要减小误差,还要使模型尽可能简化,模型复杂度越高,惩罚项越大,目标函数就会自行降低复杂度。

正则,在数学上代表平滑,一个剧烈抖动的曲线于一条斜线相比,后者正则性更好,因此平滑后正则性变好。

拟合过程中不能过于相信数据,因为数据中不可避免地存在噪声,对每一个数据做毫无误差的拟合没有太大意义。

在模型中应避免剧烈起伏。模型复杂,意味着模型的多项式阶数高。多项式的系数大,意味着系统稍微有一点扰动,模型就会发生很大的变化,模型的稳定性就低。正则化能够惩罚模型的复杂度,进而提高其稳定性。

Tikhonov正则化用2-范数惩罚模型的复杂性,达到一边优化,一边选择模型的效果,而之前在做优化的时候,模型已经确定了。下面进行简单分析:


因为文档中公式较多,不方便编辑,所以本文使用截图的方式展现。如需电子版文档,可以通过下面的链接进行下载。

链接

相关推荐
狄加山6759 小时前
Cadence模块复用
服务器·硬件架构·硬件工程·信号处理·智能硬件
jz_ddk9 小时前
[实战]调频(FM)和调幅(AM)信号生成(完整C语言实现)
c语言·算法·信号处理
XINVRY-FPGA11 小时前
XCZU47DR-2FFVG1517I Xilinx FPGA AMD ZynqUltraScale+ RFSoC
人工智能·嵌入式硬件·fpga开发·信息与通信·信号处理·射频工程·fpga
LuDvei15 小时前
CH9121T电路及配置详解
服务器·嵌入式硬件·物联网·网络协议·tcp/ip·网络安全·信号处理
孤独的追光者1 天前
论文阅读|汽车虚拟环绕音响系统设计与实现策略的比较研究
算法·汽车·音频·信号处理·数字信号处理
weixin_452600692 天前
GC393低功耗双电压比较器:精准、高效的信号处理解决方案
单片机·嵌入式硬件·智能家居·信号处理·音响·蓝牙音箱
学术小八2 天前
第二届虚拟现实、图像和信号处理国际学术会议(VRISP 2025)
信号处理·图像·虚拟现实
hans汉斯3 天前
【人工智能与机器人研究】基于力传感器坐标系预标定的重力补偿算法
人工智能·算法·机器人·信号处理·深度神经网络
通信射频老兵5 天前
卫星通信基础知识---自由空间衰减和天线增益计算
经验分享·5g·数学建模·信号处理·射频工程
刘小小_算法工程师6 天前
「ECG信号处理——(20)基于心电和呼吸的因果分析模型」2025年7月2日
信号处理