机器学习笔记-2

文章目录

  • [一、Linear model](#一、Linear model)
  • [二、How to represent this function](#二、How to represent this function)
  • [三、Function with unknown parameter](#三、Function with unknown parameter)
  • 四、ReLU
  • [总结、A fancy name](#总结、A fancy name)

一、Linear model

线性模型过于简单,有很大限制,我们需要更多复杂模式

蓝色是线性模型,线性模型无法去表示红色的那个线

所以线性模型有严重的局限性这被成为

Model Bias(模型偏差)

我们需要一个复杂的有位置参数的function

所有分段线性曲线=常数+多个分段线性函数的叠加

二、How to represent this function

用这个Sigmoid function来逼近这条蓝色的Hard Sigmoid function

例:

分别改变w,b,c

假设要写出红色的这条线

从简单模型到复杂模型

初始线性回归模型

引入非线性(sigmoid 函数):将模型扩展为使用 sigmoid 激活函数引入更多权重和偏移

多特征线性模型:在此基础上,模型扩展为多输入特征

多特征与非线性结合:非线性函数 sigmoid 被应用在多个输入特征的线性组合上

通过多个输入特征和权重计算激活函数

简化成矩阵

将线性加权求和的结果通过非线性激活函数进行转换。

最后输出计算

最后用线性代数得到式子

三、Function with unknown parameter

将神经网络中的所有权重和偏置统一为一个参数向量 𝜃,便于进行优化

ML框架

定Loss

新模型优化

通过梯度下降法优化模型参数 𝜃 来最小化损失函数L。

找到最优的𝜃使L值最小

四、ReLU

也可以用ReLU,将Sigmoid的地方换成ReLU

例:



总结、A fancy name

我们给这些起了一个好听的名字

Neuron

Neuron Network

Deep Learning

发展变化

相关推荐
Rabitebla18 分钟前
【Linux】文件篇(六):Shell 实战——从系统调用到命令行重定向
linux·服务器·c++·笔记·学习
Dawson Zhu34 分钟前
【模型量化⑦】W4A8与GPTQ-Int4:极限压缩与MLC-LLM部署实战
人工智能·语言模型·架构·aigc·agi
千寻技术帮1 小时前
50055_基于AI的互帮互助小程序(源码+文档+数据库脚本+部署教程)
数据库·人工智能·小程序·毕业设计·springboot·课程设计
天树星智源1 小时前
KV 剪枝的同一个误差,模型确定时只改 1.4% 的 token,不确定时改 65%:接上不确定性,AIME25 端到端快 1.27 倍
人工智能·大模型
AI英德西牛仔1 小时前
PC 用户的效率革命:腾讯元宝导出 Word 指令与“AI 导出鸭”的底层逻辑
人工智能·word·excel·deepseek·ai导出鸭
Star(up up up)1 小时前
MySQL 事务隔离级别是如何实现的?从 MVCC 到锁机制原理详解
笔记·vscode·sql·学习·程序人生·mysql·学习方法
Flynn Liang2 小时前
多智能体协同不再复杂:Redis Stream 消费者组、幂等与故障恢复
数据库·人工智能·redis·缓存·ai agent·智能体
VIP_CQCRE10 小时前
GPT Image 2.6 商品图换背景后悬浮?接触阴影、透明区域与反射验收
图像处理·人工智能·ai·电商
泯泷11 小时前
别再傻傻地喂文件了,大厂都在偷偷给AI建这种“专属图书馆”
人工智能
oak隔壁找我12 小时前
一款运行在 DSH(DeepSeek Harness)中的类 Postman HTTP 接口调试插件
人工智能·程序员