视觉CNN常用基础技术来源:UberNet

UberNet是2017CVPR中的一篇经典论文,步入视觉领域这么很多年,依旧觉得浮于表面,没有真的理解CNN其中的奥妙,然后持续性去读一些经典的论文,总是会发现很多惊喜。UberNet就是被我挖掘出来的一批经典的论文,它的经典之处在于,它的思想,在10年后的今天,已经成为了大家共识性知识。

一、UberNet

是用来解决同时训练多个任务(边缘、分割、法向、目标、人体部件等),UberNet的具体做法,从结构开始

上图是UberNet的结构,第一行是原始图片输入,第二行是原始图片resize 1/2后再输入到网络中,第三行是原始图片resize 1/4后,输入到网络中,这三行实现了图像scale;每一行的结构的结构都是一样的,这个就是UberNet的结构,基于vgg16网络,C1=VGG16的conv1_2, C2=conv2_2, C3 = conv3_3, C4=conv4_3、C5=conv5_3, C7 = fc7,C1...C6代表浅层特征~深层特征,这个是feature scale;每层特征上的E1到ETE^1 到E^TE1到ET是T个任务分支,每个任务在C1~C6不同特征层都有任务分支,因为不同任务,需要的特征不同;F1到FTF^1到F^TF1到FT是当前图像尺寸上的,每个任务在不同特征层上的融合;S1到STS^1到S^TS1到ST是不同任务在三种图像尺寸上的融合。

二、UberNet的思想

  • 只有backbone是共享的
  • 多层特征都重要,并不是最后一层feature 重要,不同任务需要不同层级的feature,例如边缘/纹理的浅层特征、具备结构的中层特征、语义的深层特征;在现代结构中FPN就是所有层的特征进行融合,所以多层特征融合已经成为了默认操作;
  • 不同任务对feature的需求不同,不同任务需要的是backbone的不同部分;
  • 多尺度输入很重要,不仅仅是input pyramid ,还有feature pyramid,不同分辨率的输入都要进入到网络中;
相关推荐
Csvn2 小时前
同一个问题问 100 遍,钱就扣 100 次?精确缓存让它只扣一次(C02)
人工智能·aigc·agent
罗西的思考3 小时前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(2)
人工智能·算法·机器学习
罗西的思考3 小时前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(1)
人工智能·算法·机器学习
汤姆宝库4 小时前
BPE分词器的完整实现:字节对合并与词表构建
开发语言·人工智能·c#
岁月宁静4 小时前
从零拆解 AI 语音模拟面试系统
人工智能·python·agent
武子康4 小时前
H3-World 接入 Game Agent:谁来判断门真的打开了?
人工智能·算法·机器学习
可乐ea5 小时前
MCP 和 CLI 差 42 倍:一次 GitHub 任务的上下文成本实测
人工智能·github·工具调用·ai智能体·openrouter·mcp协议·上下文优化
kyriewen5 小时前
编辑弹窗点了取消,列表里的数据怎么还是变了?
前端·javascript·人工智能
泯泷5 小时前
Multica 真正打动我的,不是更多 Agent,而是一种新的团队协作方式
人工智能·llm·agent
电科_银尘5 小时前
【深度学习项目实战·22】灰度图像着色:用小型U-Net学习从灰度到RGB
人工智能·深度学习·学习