【Datawhale X 李宏毅苹果书 AI夏令营】《深度学习详解》Task2 打卡

文章目录


前言

本文是【Datawhale X 李宏毅苹果书 AI夏令营】的Task2学习笔记打卡。


学习目标

李宏毅老师对应视频课程:https://www.bilibili.com/video/BV1JA411c7VT?p=3

《深度学习详解》第一章主要介绍了深度学习中的基础数学知识。

一、线性模型

经过了前面的梯度下降优化过程以后,我们得到了通过训练数据估计出来的一个数学模型,其中y(预测某天的视频观看次数)和 x 1 x_1 x1(前一天的观看次数有关)。

但是视频观看次数有个周期性的规律,即一周有七天,在周末的时候,人们会去休息放松,所以学习视频的观看次数就会下降(暂时不考虑法定节假日和调休)。

这些模型都是把输入的特征 x 乘上一个权重,再加上一个偏置就得到预测的结果,这样的模型称为线性模型(linear model)。接下来会看如何把线性模型做得更好。

二、分段线性曲线

对于分段线性曲线,线性模型有很大的限制,这一种来自于模型的限制称为模型的偏差,无法模拟真实的情况。

分段曲线可以逼近任何连续曲线

直接写 HardSigmoid 不是很容易,但是可以用一条曲线来理解它,用 Sigmoid 函数来逼近 Hard Sigmoid,如图 1.10 所示。Sigmoid 函数的表达式为
y = c 1 1 + e − ( b + w x 1 ) y = c\frac{1}{1+e^{− (b+wx_1)}} y=c1+e−(b+wx1)1

调整参数,可以绘制出不同的 Sigmoid 函数

在机器学习里面,Sigmoid 或 ReLU 称为激活函数(activation function)。

Q: 优化是找一个可以让损失最小的参数,是否可以穷举所有可能的未知参数的值?

A:只有 w 跟 b 两个参数的前提之下,可以穷举所有可能的 w 跟 b

的值,所以在参数很少的情况下。甚至可能不用梯度下降,不需要优化的技巧。但是参数非常多的时候,就不能使用穷举的方法,需要梯度下降来找出可以让损失最低的参数。

经过上面的多个sigmoid函数的计算,可以得到比较有灵活性的损失函数。

如下图所示,未知参数可以组合成一个向量。

在训练数据和测试数据上的结果是不一致的,这种情况称为过拟合(overfitting)。


总结

每一排称为一层,称为隐藏层(hiddenlayer),很多的隐藏层就"深",这套技术称为深度学习。

相关推荐
慕婉03073 分钟前
深度学习前置知识全面解析:从机器学习到深度学习的进阶之路
人工智能·深度学习·机器学习
荔枝吻1 小时前
【AI总结】Git vs GitHub vs GitLab:深度解析三者联系与核心区别
人工智能·git·github
Jamie201901061 小时前
高档宠物食品对宠物的健康益处有哪些?
大数据·人工智能
云卓SKYDROID1 小时前
无人机载重模块技术要点分析
人工智能·无人机·科普·高科技·云卓科技
云卓SKYDROID1 小时前
无人机RTK技术要点与难点分析
人工智能·无人机·科普·高科技·云卓科技
麻雀无能为力2 小时前
CAU数据挖掘 支持向量机
人工智能·支持向量机·数据挖掘·中国农业大学计算机
智能汽车人2 小时前
Robot---能打羽毛球的机器人
人工智能·机器人·强化学习
埃菲尔铁塔_CV算法2 小时前
基于 TOF 图像高频信息恢复 RGB 图像的原理、应用与实现
人工智能·深度学习·数码相机·算法·目标检测·计算机视觉
ζั͡山 ั͡有扶苏 ั͡✾3 小时前
AI辅助编程工具对比分析:Cursor、Copilot及其他主流选择
人工智能·copilot·cursor
东临碣石823 小时前
【AI论文】数学推理能否提升大型语言模型(LLM)的通用能力?——探究大型语言模型推理能力的可迁移性
人工智能·语言模型·自然语言处理