机器学习笔记-2

文章目录

  • [一、Linear model](#一、Linear model)
  • [二、How to represent this function](#二、How to represent this function)
  • [三、Function with unknown parameter](#三、Function with unknown parameter)
  • 四、ReLU
  • [总结、A fancy name](#总结、A fancy name)

一、Linear model

线性模型过于简单,有很大限制,我们需要更多复杂模式

蓝色是线性模型,线性模型无法去表示红色的那个线

所以线性模型有严重的局限性这被成为

Model Bias(模型偏差)

我们需要一个复杂的有位置参数的function

所有分段线性曲线=常数+多个分段线性函数的叠加

二、How to represent this function

用这个Sigmoid function来逼近这条蓝色的Hard Sigmoid function

例:

分别改变w,b,c

假设要写出红色的这条线

从简单模型到复杂模型

初始线性回归模型

引入非线性(sigmoid 函数):将模型扩展为使用 sigmoid 激活函数引入更多权重和偏移

多特征线性模型:在此基础上,模型扩展为多输入特征

多特征与非线性结合:非线性函数 sigmoid 被应用在多个输入特征的线性组合上

通过多个输入特征和权重计算激活函数

简化成矩阵

将线性加权求和的结果通过非线性激活函数进行转换。

最后输出计算

最后用线性代数得到式子

三、Function with unknown parameter

将神经网络中的所有权重和偏置统一为一个参数向量 𝜃,便于进行优化

ML框架

定Loss

新模型优化

通过梯度下降法优化模型参数 𝜃 来最小化损失函数L。

找到最优的𝜃使L值最小

四、ReLU

也可以用ReLU,将Sigmoid的地方换成ReLU

例:



总结、A fancy name

我们给这些起了一个好听的名字

Neuron

Neuron Network

Deep Learning

发展变化

相关推荐
DooTask官方号18 分钟前
跨语言协作新范式:阿里云Qwen-MT与DooTask的翻译技术突破
人工智能·ai·项目管理·机器翻译·dootask
摇滚侠1 小时前
Spring Boot 3零基础教程,Spring Intializer,笔记05
spring boot·笔记·spring
聪明的笨猪猪1 小时前
Java Redis “高可用 — 主从复制”面试清单(含超通俗生活案例与深度理解)
java·经验分享·笔记·面试
凯禾瑞华养老实训室2 小时前
聚焦生活照护能力培育:老年生活照护实训室建设清单的模块设计与资源整合
大数据·人工智能·科技·ar·vr·智慧养老·智慧健康养老服务与管理
倔强青铜三2 小时前
苦练Python第64天:从零掌握多线程,threading模块全面指南
人工智能·python·面试
摇滚侠2 小时前
Spring Boot 3零基础教程,Demo小结,笔记04
java·spring boot·笔记
格林威2 小时前
偏振相机是否属于不同光谱相机的范围内
图像处理·人工智能·数码相机·计算机视觉·视觉检测·工业相机
A-大程序员2 小时前
【pytorch】合并与分割
人工智能·pytorch·深度学习
AI新兵3 小时前
AI大事记12:Transformer 架构——重塑 NLP 的革命性技术(上)
人工智能·自然语言处理·transformer
做运维的阿瑞3 小时前
Docker 从入门到精通:完整通关笔记
笔记·docker·容器