2024 6.10~6.16 周报

一、上周工作

完成毕设

二、本周计划

吴恩达的机器学习、实验-回顾之前密集连接部分,调整损失函数

三、完成情况

3.1 机器学习的两种主要类型:

  • 监督学习(supervised learning)(实际中使用最多的):提供具有正确答案的数据来训练模型。是指学习x到y或输入到输出映射的算法。
    • 监督学习主要有两种类型:

    • 回归任务(regression algorithms):学会从无限多可能的数字中预测数字。模型可以输出++无限多可能的数字++

    • 分类算法(classification algorithm):对一个类别做出预测,有++一小部分可能的产出++ 。

  • 无监督学习(unsupervised learning):数据仅带有输入x而没有输出标签y。
    • 无监督学习主要有三种类型:
    • 聚类算法(clustering):他将相似的数据点组合在一起。这是一种无监督学习算法,++获取没有标签的数据++ 并尝试++自动将他们分组到集群中++ 。
    • 异常检测(Anomaly detection):用于检测异常事件。
    • 降维(Dimensionality reduction):这使你可以将一个大数据集神奇地压缩成一个小得多的数据集,同时丢失尽可能少的信息。

3.2 代价函数与损失函数之间的差异:

  • 代价函数(Cost Function):用于衡量模型在所有样本上的平均表现。范围:在整个训练集上的,是所有样本误差的平均,即损失函数的平均。
  • 损失函数(Loss Function):用于衡量模型在每个单独样本上的表现。范围:在单个样本上的,计算的是一个样本的误差。

3.3 通过视频中的例子,对梯度下降有了更深刻的理解。

梯度下降是一种可用于尝试最小化任何函数的算法。

  • 首先要做的只是从对w和b进行一些初始猜测。在线性回归中,初始值是多少并不重要。所以一个常见的选择是将它们都设置为0。
  • 使用梯度下降算法,你要做的是,每次都稍微改变参数w和b,以尝试降低w和b的成本J,直到J稳定在或接近最小值。

梯度下降的两个关键:

  • 导数
  • 学习率
    • 学习率太小------梯度下降会起作用,虽然降低了成本函数J,但下降速度非常慢。

    • 学习率太大------可能会离最小值越来越远。

3.4 数学表达式

符号表、集合、向量、矩阵

3.5 实验------未完待续

浅层有些就没有反演好

------分阶段

第一个网络-专门反演浅层,把浅层权值变大如系数2,深层权值变小如系数0.1

第二个网络-中间

第三个网络-深层,把深层权值变大

代码中如何实现?------后续

四、存在问题及解决

1.在之前的实验和学习中,仅了解损失函数

成本函数和损失函数?------上一节已阐述

2.成本函数非凸,会产生多个局部最优解,因此引入损失函数,并对其求平均值,可以使成本函数变凸?还不太理解为什么

五、下一步计划

继续吴恩达机器学习

如何实现分阶段反演,调整损失函数

相关推荐
好喜欢吃红柚子1 分钟前
万字长文解读空间、通道注意力机制机制和超详细代码逐行分析(SE,CBAM,SGE,CA,ECA,TA)
人工智能·pytorch·python·计算机视觉·cnn
小馒头学python6 分钟前
机器学习是什么?AIGC又是什么?机器学习与AIGC未来科技的双引擎
人工智能·python·机器学习
神奇夜光杯15 分钟前
Python酷库之旅-第三方库Pandas(202)
开发语言·人工智能·python·excel·pandas·标准库及第三方库·学习与成长
正义的彬彬侠18 分钟前
《XGBoost算法的原理推导》12-14决策树复杂度的正则化项 公式解析
人工智能·决策树·机器学习·集成学习·boosting·xgboost
Debroon27 分钟前
RuleAlign 规则对齐框架:将医生的诊断规则形式化并注入模型,无需额外人工标注的自动对齐方法
人工智能
羊小猪~~34 分钟前
神经网络基础--什么是正向传播??什么是方向传播??
人工智能·pytorch·python·深度学习·神经网络·算法·机器学习
AI小杨35 分钟前
【车道线检测】一、传统车道线检测:基于霍夫变换的车道线检测史诗级详细教程
人工智能·opencv·计算机视觉·霍夫变换·车道线检测
晨曦_子画40 分钟前
编程语言之战:AI 之后的 Kotlin 与 Java
android·java·开发语言·人工智能·kotlin
道可云41 分钟前
道可云人工智能&元宇宙每日资讯|2024国际虚拟现实创新大会将在青岛举办
大数据·人工智能·3d·机器人·ar·vr
人工智能培训咨询叶梓1 小时前
探索开放资源上指令微调语言模型的现状
人工智能·语言模型·自然语言处理·性能优化·调优·大模型微调·指令微调