2024 CVPR Highlight Learning-Feedback

图像增强

Towards Robust Event-guided Low-Light Image Enhancement: A Large-Scale Real-World Event-Image Dataset and Novel Approach

解决的主要问题是低光照条件下的图像增强

通过多尺度整体融合分支提取事件和图像的结构和纹理信息,并引入信噪比(Signal-to-Noise Ratio, SNR)引导的区域特征选择,以增强低SNR区域的图像

嵌入表示

Transcriptomics-guided Slide Representation Learning in Computational Pathology

试图解决的主要问题是如何在计算病理学中有效地从整个千兆像素级的全切片图像学习到有用的嵌入表示

使用ViT来编码组织学幻灯片的图像块,以及使用MLP来编码基因表达数据,通过对比学习对齐

除了对比损失外,作者还引入了表达重建目标和视觉内模态目标

事件相机

Bilateral Event Mining and Complementary for Event Stream Super-Resolution

旨在解决现有事件相机在复杂场景应用中面临的空间分辨率不足的挑战

采用双流网络分别独立处理正事件和负事件,并通过提出的双边信息交换模块促进两流之间的信息交换

扩散模型

GPLD3D: Latent Diffusion of 3D Shape Generative Models by Enforcing Geometric and Physical Priors

旨在解决现有3D形状生成模型在几何可行性和物理稳定性方面的一些关键问题

Ranni: Taming Text-to-Image Diffusion for Accurate Instruction Following

旨在解决现有文本到图像扩散模型在解释复杂提示时通常遇到的挑战

引入一个语义面板作为中间件,这个面板通过大型语言模型解析输入文本中的视觉概念,然后将其注入到去噪网络中,作为详细的控制信号以补充文本条件

EscherNet: A Generative Model for Scalable View Synthesis

试图解决的主要问题是如何学习一个通用的3D表示,以便于实现可扩展的视图合成

EscherNet学习与场景颜色和几何形状相关的隐式表示

3D重建

MultiPly: Reconstruction of Multiple People from Monocular Video in the Wild

旨在解决从单目野外视频中重建多个人物的3D模型这一具有挑战性的任务

定义整个场景的分层神经表示、使用分层可微体积渲染从视频中学习该表示(为场景中的每个人定义一个3D形状和外观的隐式神经表示,这些表示在场景中是分层和交织的)

图像生成

Instruct-Imagen: Image Generation with Multi-modal Instruction

  1. 多模态指令引入

  2. 两阶段训练方法

    • 第一阶段:检索增强训练

    • 第二阶段:多模态指令微调

  3. 模型架构设计:Instruct-Imagen基于预训练的文本到图像扩散模型,通过添加一个交叉注意力层来编码多模态指令

Attention Calibration for Disentangled Text-to-Image Personalization

试图解决的问题是如何从单个参考图像中捕捉多个新颖概念

引入新的可学习修饰符与类别绑定以捕获多个概念的属性,并通过分离和加强不同类别的注意力图来减少概念间的相互影响

姿态估计

Matching 2D Images in 3D: Metric Relative Pose from Metric Correspondences

目标是在不需要额外的深度测量或场景重建信息的情况下,通过学习跨图像匹配3D坐标,实现无需尺度的相对相机姿态估计

深度估计

Repurposing Diffusion-Based Image Generators for Monocular Depth Estimation

探索现代生成性扩散模型中捕获的广泛先验知识是否能够使深度估计更加准确和泛化。

Marigold是一种基于Stable Diffusion的仿射不变单目深度估计方法,它保留了丰富的先验知识

相关推荐
加油吧zkf8 分钟前
水下目标检测:突破与创新
人工智能·计算机视觉·目标跟踪
加油吧zkf8 分钟前
AI大模型如何重塑软件开发流程?——结合目标检测的深度实践与代码示例
开发语言·图像处理·人工智能·python·yolo
峙峙峙21 分钟前
线性代数--AI数学基础复习
人工智能·线性代数
weiwuxian26 分钟前
揭开智能体的神秘面纱:原来你不是"超级AI"!
人工智能
Codebee27 分钟前
“自举开发“范式:OneCode如何用低代码重构自身工具链
java·人工智能·架构
说私域38 分钟前
基于开源AI智能名片链动2+1模式的S2B2C商城小程序:门店私域流量与视频号直播融合的生态创新研究
人工智能·小程序·开源
Ronin-Lotus41 分钟前
深度学习篇---Yolov系列
人工智能·深度学习
静心问道1 小时前
GoT:超越思维链:语言模型中的有效思维图推理
人工智能·计算机视觉·语言模型
aneasystone本尊1 小时前
学习 Claude Code 的工具使用(三)
人工智能
szxinmai主板定制专家1 小时前
【精密测量】基于ARM+FPGA的多路光栅信号采集方案
服务器·arm开发·人工智能·嵌入式硬件·fpga开发