AI基础知识(3)--神经网络,支持向量机,贝叶斯分类器

1.什么是误差逆传播算法(error BackPropagation,简称BP)?

是一种神经网络学习算法。BP是一个迭代学习算法 ,在迭代的每一轮使用广义的感知机学习规则对参数进行更新估计。基于梯度下降(gradient descent) 策略,以目标的负方向对参数进行更新。BP的算法工作流程 大致是:先将输入样本输入给输入层神经元,再将误差逆向传播至隐层神经元 ,最后根据隐层神经元的误差来对连接权(connection weight)和阈值(threshold)进行调整,该过程迭代调整,直到训练误差达到一个很小的值。

2.如何解决误差函数中参数寻优陷入局部极小的问题?

(1)以多组不同的值初始化多个神经网络,按标准方法训练之后,取其中误差最小的解作为参数。这相当于从不同的初始点开始搜索,这样就可能陷入不同的局部最小。

(2)使用**"模拟退火"(simulated annealing)技术**,模拟退火每一步都在以一定的概率接受比当前更差的结果,从而有助于"跳出"局部极小。

(3)使用随机梯度下降,与标准梯度下降计算机误差精度不同,随机梯度下在计算梯度时加入了随机因素,即使陷入局部极小点,它计算出的梯度仍可能不为0,这样就有机会跳出局部极小。

3.什么是预训练(pre-training)?

由于多隐层神经网络在多隐层逆传播时,往往会"发散"(diverse)而不能收敛到稳定状态,**所以采用预训练方法,训练时将上一层隐结点的输出作为输入,而本层隐结点的输出作为下一层隐结点的输入。**在预训练结束后,再对整个网络进行微调(fine-tuning)。

4.什么是支持向量机(support vector machine)?

首先解释支持向量(support vector),是指距离超平面,最近的几个点使得下面公式的等号成立,他们被称为"支持向量"。

两个异类支持向量到超平面的距离称为间隔(margin),欲找到具有"最大间隔"(maximum margin)的划分超平面,也就是找到能满足上面约束条件的参数w和b,使得margin最大,这就是支持向量机(SVM)的基本型:对于二分类问题,找到一个超平面,使得margin最大。

相关推荐
可乐ea16 分钟前
MCP 和 CLI 差 42 倍:一次 GitHub 任务的上下文成本实测
人工智能·github·工具调用·ai智能体·openrouter·mcp协议·上下文优化
kyriewen30 分钟前
编辑弹窗点了取消,列表里的数据怎么还是变了?
前端·javascript·人工智能
泯泷1 小时前
Multica 真正打动我的,不是更多 Agent,而是一种新的团队协作方式
人工智能·llm·agent
电科_银尘1 小时前
【深度学习项目实战·22】灰度图像着色:用小型U-Net学习从灰度到RGB
人工智能·深度学习·学习
阿里云大数据AI技术1 小时前
云栖实录|倍思科技 × 阿里云:让VOC洞察从“生成报告”走向“业务可用”
人工智能·elasticsearch·agent
XLYcmy2 小时前
基于大语言模型的智能漏洞检测与修复系统 作品报告评审分析报告 下
机器学习·llm·prompt·api·token·漏洞修复·漏洞检测
AllData公司负责人2 小时前
第九篇:AI大模型数据开发底座系列说明书:AllData集成BISHENG开源项目建设大模型应用开发底座,涵盖可视化编排/智能助手/一键API/模型接入!
人工智能·云原生·数据分析·视觉检测·知识图谱·大模型应用·bisheng
数字新视界2 小时前
数据中心DCIM管理系统助力提升机房管理效率与安全性
大数据·人工智能·物联网·信息与通信·动环监控系统
阿里云大数据AI技术2 小时前
阿里云 EMR Serverless StarRocks(Stella)× Paimon:让多模态数据湖从“存得下”走向“找得到、用得上”
人工智能
class心平气和2 小时前
AI 赋能测试流程:从基础概念到测试全流程实战
人工智能