2024 CVPR Highlight Learning-Feedback

图像增强

Towards Robust Event-guided Low-Light Image Enhancement: A Large-Scale Real-World Event-Image Dataset and Novel Approach

解决的主要问题是低光照条件下的图像增强

通过多尺度整体融合分支提取事件和图像的结构和纹理信息,并引入信噪比(Signal-to-Noise Ratio, SNR)引导的区域特征选择,以增强低SNR区域的图像

嵌入表示

Transcriptomics-guided Slide Representation Learning in Computational Pathology

试图解决的主要问题是如何在计算病理学中有效地从整个千兆像素级的全切片图像学习到有用的嵌入表示

使用ViT来编码组织学幻灯片的图像块,以及使用MLP来编码基因表达数据,通过对比学习对齐

除了对比损失外,作者还引入了表达重建目标和视觉内模态目标

事件相机

Bilateral Event Mining and Complementary for Event Stream Super-Resolution

旨在解决现有事件相机在复杂场景应用中面临的空间分辨率不足的挑战

采用双流网络分别独立处理正事件和负事件,并通过提出的双边信息交换模块促进两流之间的信息交换

扩散模型

GPLD3D: Latent Diffusion of 3D Shape Generative Models by Enforcing Geometric and Physical Priors

旨在解决现有3D形状生成模型在几何可行性和物理稳定性方面的一些关键问题

Ranni: Taming Text-to-Image Diffusion for Accurate Instruction Following

旨在解决现有文本到图像扩散模型在解释复杂提示时通常遇到的挑战

引入一个语义面板作为中间件,这个面板通过大型语言模型解析输入文本中的视觉概念,然后将其注入到去噪网络中,作为详细的控制信号以补充文本条件

EscherNet: A Generative Model for Scalable View Synthesis

试图解决的主要问题是如何学习一个通用的3D表示,以便于实现可扩展的视图合成

EscherNet学习与场景颜色和几何形状相关的隐式表示

3D重建

MultiPly: Reconstruction of Multiple People from Monocular Video in the Wild

旨在解决从单目野外视频中重建多个人物的3D模型这一具有挑战性的任务

定义整个场景的分层神经表示、使用分层可微体积渲染从视频中学习该表示(为场景中的每个人定义一个3D形状和外观的隐式神经表示,这些表示在场景中是分层和交织的)

图像生成

Instruct-Imagen: Image Generation with Multi-modal Instruction

  1. 多模态指令引入

  2. 两阶段训练方法

    • 第一阶段:检索增强训练

    • 第二阶段:多模态指令微调

  3. 模型架构设计:Instruct-Imagen基于预训练的文本到图像扩散模型,通过添加一个交叉注意力层来编码多模态指令

Attention Calibration for Disentangled Text-to-Image Personalization

试图解决的问题是如何从单个参考图像中捕捉多个新颖概念

引入新的可学习修饰符与类别绑定以捕获多个概念的属性,并通过分离和加强不同类别的注意力图来减少概念间的相互影响

姿态估计

Matching 2D Images in 3D: Metric Relative Pose from Metric Correspondences

目标是在不需要额外的深度测量或场景重建信息的情况下,通过学习跨图像匹配3D坐标,实现无需尺度的相对相机姿态估计

深度估计

Repurposing Diffusion-Based Image Generators for Monocular Depth Estimation

探索现代生成性扩散模型中捕获的广泛先验知识是否能够使深度估计更加准确和泛化。

Marigold是一种基于Stable Diffusion的仿射不变单目深度估计方法,它保留了丰富的先验知识

相关推荐
CITY_OF_MO_GY9 分钟前
Spark-TTS:基于大模型的文本语音合成工具
人工智能·深度学习·语音识别
阿丢是丢心心16 分钟前
【从0到1搞懂大模型】神经网络的实现:数据策略、模型调优与评估体系(3)
人工智能·深度学习·神经网络
新智元16 分钟前
10²⁶参数,AGI 还需 70 年!清华人大预测届时 GPU 总价达 4000 万倍苹果市值
人工智能·openai
何大春23 分钟前
【对话推荐系统综述】Broadening the View: Demonstration-augmented Prompt Learning for CR
论文阅读·人工智能·深度学习·语言模型·prompt·论文笔记
WenGyyyL25 分钟前
使用OpenCV和MediaPipe库——增强现实特效(在手腕添加虚拟手表)
人工智能·opencv·计算机视觉·ar·cv·mediapipe
东临碣石8227 分钟前
【英伟达AI论文】多模态大型语言模型的高效长视频理解
人工智能·语言模型·自然语言处理
我去热饭28 分钟前
【完整记录】基于腾讯云HAI+DeepSeek快速开发法律咨询(小律师)辅助平台过程
人工智能
CoovallyAIHub29 分钟前
一码难求的Manus,又对计算机视觉产生冲击?复刻开源版已在路上!
人工智能·深度学习·计算机视觉
是理不是里_30 分钟前
人工智能里的深度学习指的是什么?
人工智能·深度学习