神经网络|(三)线性回归基础知识

【1】引言

前序学习进程中,已经对简单神经元的工作模式有所了解,这种二元分类的工作机制,进一步使用sigmoid()函数进行了平滑表达。相关学习链接为:

神经网络|(一)加权平均法,感知机和神经元-CSDN博客

神经网络|(二)sigmoid神经元函数-CSDN博客

实际上,上述表达模型的一个基本原则是:元素和对应的权重,线性相乘后再和阈值开关作对比,元素的综合影响在本质上是一个线性函数,类似于y=wx+b,这里把w理解为权重组成的矩阵,x理解为影响元素组成的矩阵,b就是阈值开关。

然而实际应用中,大多数时候我们获得的数据是y和x,权重w 和阈值开关-b躲在数据堆里。机器学习的目标之一就是通过大量的数据把k和b反推出来。

在数学上我们知道,如果是线性函数,知道自变量和因变量,反推斜率和解决过程叫做线性回归,线性回归常用的方法是最小二乘法。

【2】最小二乘法基础知识

最小二乘法的英文翻译是Least Squares Method,也就是最小平方法。

实际解释起来,需要用线性代数中的矩阵来辅助。

定义影响元素组成的矩阵x=xij(i=1,2...m,j=1,2...n),对应的元素权重组成的矩阵w=wij(i=1,2...n,j=1,2...m),写出来全是类似下方的模样:

++图1 自变量 x++

进行最小二乘法计算时,采用的计算公式为:

非常明确,yi是实际的已知量,xijwij+bi是将自变量xij和对应权重wij相乘再叠加阈值开关-bi后的"计算结果",这个计算结果越接近已知量yi,表明权重wij和阈值开关-bi给的越准。

所以在本质上,最小二乘法是查看函数拟合效果的基石。

【3】总结

了解了线性回归使用最小二乘法的基础知识。

相关推荐
装不满的克莱因瓶6 小时前
掌握 RNN 与 LSTM 模型结构
人工智能·python·rnn·深度学习·神经网络·ai·lstm
LaughingZhu7 小时前
Product Hunt 每日热榜 | 2026-06-04
人工智能·经验分享·深度学习·神经网络·产品运营
wubba lubba dub dub75010 小时前
第四十九周学习周报
人工智能·算法·机器学习
装不满的克莱因瓶11 小时前
学习使用 Python 机器学习工具 sklearn
人工智能·python·学习·机器学习·ai·agent·智能体
Omics Pro12 小时前
3种蛋白结构输入方式!已申报欧洲发明专利
数据库·人工智能·python·机器学习·plotly
Omics Pro13 小时前
「自兹以往」动物肠道微生物组
数据库·人工智能·机器学习·语言模型·自然语言处理
oddsand113 小时前
pgvector 三大相似度算法
人工智能·算法·机器学习
落羽的落羽15 小时前
【项目】JsonRpc框架——开发实现1(细节功能、字段定义、抽象层、具象层)
linux·服务器·网络·c++·人工智能·算法·机器学习
力学与人工智能15 小时前
AIAAJ | 西工大常宝辉、李楠等:基于径向基函数神经网络的激波串数据驱动控制方法研究
人工智能·深度学习·神经网络·数据驱动·径向基函数·激波·控制方法
keykey6.15 小时前
卷积神经网络(CNN):让AI学会“看“
开发语言·人工智能·深度学习·机器学习