【Anomaly Detection论文阅读记录】Resnet网络与WideResNet网络

Resnet 网络

网络结构:(层数计算不包括max pool、average pool、softmax等操作)

层数计算(以Resnet-18为例子):

conv1+conv2_x+conv3_x+conv4_x+conv5_x+fc=1+(2×2)+(2×2)+(2×2)+(2×2)+1=18

WideResNet 网络

WideResNet提出了一种新的体系结构,减少了网络的深度,增加了网络的宽度,这种结构称为宽残差网络(WRN),宽度即网络输出通道数,并通过实验证明它们远远优于常用的薄而深的网络结构。与原始架构相比,residual block中的批量归一化、激活和卷积的顺序从conv-BN-ReLU更改为BN-ReLU-conv。 卷积核都用3*3;正则化使用dropout,而ResNet用的BN在这里不好用。

Wide-resnet只比Resnet多了一个加宽因子k,原来架构相当于K=1,N表示组中的块数。网络由一个初始卷积层conv1组成,然后是residual block的conv2、conv3和conv4的3组(每个大小为N),然后是平均池和最终分类层。在实验中,conv1的大小都是固定的,而引入的加宽因子k缩放了三组conv2-4中剩余块的宽度。

结构单元

  • a是最基本的ResNet结构,b 是用了bottleneck(瓶颈)的ResNet结构;
  • d是在最基本的ResNet结构上加入dropout层的WideResNet结构。
相关推荐
张小姐的猫几秒前
【AI大模型接入SDK】 —— 数据管理 & 与Session模块进行联动
数据结构·数据库·c++·人工智能·python·chatgpt
m4Rk_5 分钟前
【论文阅读】Agent 记忆机制(67):MemPO——用记忆级信用分配训练 Agent 主动管理长程上下文
论文阅读·人工智能·学习·开源·github
chnyi6_ya10 分钟前
论文阅读笔记:VBVR-Pro 把「用生成来推理」变成一个可训练、可验证、可优化的闭环
论文阅读·笔记
Ai思想家11 分钟前
企业AI网关的跨可用区容灾与多活设计
人工智能
Mr数据杨15 分钟前
基于企业交易数据的OKVED行业分类实战解析
人工智能·数据分析·kaggle竞赛
AI推荐率21 分钟前
品牌的核心能力只写在图片里,公开资料该怎样补充文字解释?
人工智能
能源革命25 分钟前
DeepAR(概率自回归模型)介绍
人工智能·数据挖掘·回归
IvorySQL31 分钟前
PostgreSQL 日报|大模型破解在线校验和(9 月 15 日)
数据库·人工智能·postgresql
人工智能AI技术39 分钟前
模型越强越翻车?GPT-6 旧配置踩坑深度避坑指南
人工智能
小酒星小杜39 分钟前
【AI+Gpt-Image2.5】我偷偷把同事做成了虚拟角色,结果被发现了
人工智能·程序员·产品