技术栈
超分辨率重建
远瞻。
2 天前
人工智能
·
算法
·
stable diffusion
·
音视频
·
超分辨率重建
【论文精读】2024 ECCV--MGLD-VSR现实世界视频超分辨率(RealWorld VSR)
现实世界中的低分辨率(LR)视频存在多样化和复杂的退化现象,这对视频超分辨率(VSR)算法在高质量地再现其高分辨率(HR)对应物时提出了巨大的挑战。最近,扩散模型在图像还原任务中展现出了令人信服的生成真实细节的性能。然而,扩散过程具有随机性,使得控制还原图像内容变得困难。当将扩散模型应用于视频超分辨率(VSR)任务时,这个问题变得更加严重,因为时间一致性对视频的感知质量至关重要。 在本文中,我们通过利用预训练的潜在扩散模型的优势,提出了一种有效的实际应用视频超分辨率算法。为了确保相邻帧之间内容的一致性,我
远瞻。
3 天前
论文阅读
·
人工智能
·
算法
·
stable diffusion
·
音视频
·
超分辨率重建
【论文精读】2024 CVPR--Upscale-A-Video现实世界视频超分辨率(RealWorld VSR)
基于文本的扩散模型在生成和编辑方面表现出了显著的成功,显示出利用其生成先验增强视觉内容的巨大潜力。然而,由于对输出逼真度和时间一致性的高要求,将这些模型应用于视频超分辨率仍然具有挑战性,而这一点又因扩散模型固有的随机性而变得更加复杂。我们的研究引入了Upscale-A-Video,一种用于视频上采样的文本引导的潜在扩散方法。该框架通过两个关键机制确保时间一致性:局部上,它将时间层集成到U-Net和VAE-解码器中,保持短序列内的一致性;全局上,在不进行训练的情况下,引入了一个流引导的递归潜在传播模块,通过
远瞻。
5 天前
论文阅读
·
stable diffusion
·
音视频
·
超分辨率重建
【论文精读】2024 arXiv --VEnhancer现实世界视频超分辨率(RealWorld VSR)
我们提出了VEnhancer,这是一种生成时空增强框架,通过在空间领域中添加更多细节以及在时间领域中合成详细的运动,从而改善现有的文本到视频的结果。针对生成的低质量视频,我们的方法可以通过统一的视频扩散模型同时提高其空间和时间分辨率,支持任意的上采样空间和时间尺度。此外,VEnhancer有效地去除了生成视频中的空间伪影和时间闪烁现象。为此,我们基于预训练的视频扩散模型,训练一个视频控制网络,并将其作为低帧率和低分辨率视频的条件注入到扩散模型中。为了有效训练这个视频 ControlNet,我们设计了时空数
远瞻。
8 天前
论文阅读
·
算法
·
超分辨率重建
【论文精读】2023 AAAI--FastRealVSR现实世界视频超分辨率(RealWorld VSR)
循环结构是视频超分辨率任务中一种普遍使用的框架,它通过隐状态对帧之间的时间依赖进行建模。当应用于具有未知和复杂退化的现实场景时,隐含状态往往包含不愉快的伪影,并将其传播到恢复的帧中。在这种情况下,我们的分析表明,当隐状态被更干净的对应物替代时,这些伪影可以大大减轻。基于这些观察,我们提出了一种隐状态注意力(HSA)模块,以减轻真实世界视频超分辨率中的伪影。具体而言,我们首先采用各种廉价滤波器来生成一个隐状态池(pool)。例如,高斯模糊滤波器用于平滑伪影,而锐化滤波器用于增强细节。为了汇聚一个包含较少伪影
远瞻。
8 天前
论文阅读
·
算法
·
超分辨率重建
【论文精读】2023 CVPRW--EAVSR现实世界视频超分辨率(RealWorld VSR)
视频超分辨率(VSR)旨在从低分辨率(LR)视频重建高分辨率(HR)视频,近年来取得了巨大进展。然而,将现有的超分辨率视频重建方法应用于具有复杂退化的真实世界数据仍然具有挑战性。 1、一方面,现有的与实际情况高度对齐的超分辨率视频重建(VSR)数据集较少,尤其是具有较大超分辨率缩放因子的,这限制了实际超分辨率视频重建任务的发展。 2、另一方面,现有视频超分辨率方法中的对齐算法在处理真实世界的视频时表现不佳,导致结果不尽如人意。 为了应对上述问题, 1、我们构建了一个现实世界的×4 VSR数据集,即MVSR
远瞻。
9 天前
论文阅读
·
算法
·
超分辨率重建
【论文精读】2022 CVPR--RealBasicVSR现实世界视频超分辨率(RealWorld VSR)
现实世界视频超分辨率 (VSR) 中退化的多样性和复杂性在推理和训练中存在重大挑战。首先,虽然长期传播可以在轻度退化的情况下提高性能,但严重的野外退化可以通过传播夸大,损害输出质量。为了平衡细节合成与伪影抑制,我们发现图像预清理阶段是不可或缺的,它可以减少在传播之前的噪声和伪影。配备经过精心设计的清理模块,我们的RealBasicVSR在质量和效率上均优于现有方法(见图1)。
山海不说话
14 天前
图像处理
·
人工智能
·
pytorch
·
深度学习
·
目标检测
·
计算机视觉
·
超分辨率重建
深度学习(第3章——亚像素卷积和可形变卷积)
本章介绍了计算机识别超分领域和目标检测领域中常常使用的两种卷积变体,亚像素卷积(Subpixel Convolution)和可形变卷积(Deformable Convolution),并给出对应pytorch的使用。
RockLiu@805
2 个月前
网络
·
人工智能
·
超分辨率重建
PlainUSR|LIA: 追求更快的卷积网络实现高效的超分辨率重建
在深度学习领域,图像处理始终是一个热门话题。而超分辨率重建(Super-Resolution Reconstruction, SR)作为其中一个重要的研究方向,旨在通过算法将低分辨率图像恢复为高分辨率图像,从而提升图像质量。近期,有一篇名为《PlainUSR: Chasing Faster ConvNet for Efficient Super-Resolution》的论文提出了一个简洁而高效的卷积网络结构,旨在加速超分辨率重建过程。
少说多想勤做
3 个月前
人工智能
·
3d
·
音视频
·
视频
·
超分辨率重建
·
图像恢复
【前沿 热点 顶会】CVPR 2025 录用的与图像|视频恢复、抠图、超分辨率、3D生成有关的论文
仅依赖于输入帧的无辅助的视频抠图方法通常难以处理复杂或模糊的背景。为了解决这个问题,我们提出了 MatAnyone,这是一个为目标分配的视频抠图量身定制的强大框架。具体来说,基于基于内存的范式,我们通过区域自适应内存融合引入了一个一致的内存传播模块,该模块自适应地集成来自前一帧的内存。这确保了核心区域的语义稳定性,同时保留了沿对象边界的精细细节。为了实现稳健的训练,我们提供了一个更大、高质量和多样化的视频抠图数据集。此外,我们还采用了一种新的训练策略,可以有效地利用大规模分割数据,提高抠图稳定性。借助这种
小屁孩大帅-杨一凡
3 个月前
图像处理
·
人工智能
·
opencv
·
计算机视觉
·
超分辨率重建
如何实现使用DeepSeek的CV模型对管道内模糊、低光照或水渍干扰的图像进行去噪、超分辨率重建。...
要使用 DeepSeek 的 CV 模型对管道内模糊、低光照或水渍干扰的图像进行去噪、超分辨率重建,一般可以按照以下步骤实现:
QQ_778132974
5 个月前
人工智能
·
机器学习
·
超分辨率重建
基于深度学习的图像超分辨率重建
基于深度学习的图像超分辨率重建技术是一种先进的图像处理技术,它能够从低分辨率的图像中重建出高分辨率的图像。以下是对该技术的详细介绍:
万里守约
5 个月前
论文阅读
·
3d
·
三维重建
·
超分辨率重建
·
unet
·
高分辨率
【论文阅读】从单张图像到高质量3D模型的快速生成方法
现有的单视角图像生成3D方法存在计算成本高、生成质量不足且缺乏多视角一致性等问题。本文介绍的方法提出了一种新框架,结合多视角2D深度图和RGB图像,通过Stable Diffusion模型生成显式表面几何和纹理。论文强调了深度图在捕捉几何信息方面的优势,并通过高效的3D高斯投影(Gaussian Splatting)和表面重建实现高质量的3D表示。
GOTXX
6 个月前
开发语言
·
图像处理
·
人工智能
·
计算机视觉
·
matlab
·
音视频
·
超分辨率重建
基于MATLAB的图像增强
视觉是人类获取外界信息的重要途径之一,但在图像采集过程中,受到多种因素的影响。例如,拍摄设备的硬件条件会限制图像质量。一些低端相机可能存在传感器性能不佳、镜头分辨率低等问题,导致拍摄出的图像存在亮度不足、对比度差或者边缘模糊等情况。 拍摄条件也对图像质量有重要影响。在不良的光照条件下,如阴天、夜晚或室内光线昏暗的环境中,拍摄的图像可能会过暗,无法清晰地呈现物体的细节。此外,拍摄角度、距离以及环境中的干扰因素(如雾气、灰尘等)也可能导致图像质量下降。
GOTXX
6 个月前
图像处理
·
人工智能
·
python
·
计算机视觉
·
音视频
·
实时音视频
·
超分辨率重建
实时视频插帧RIFE
参考文献:需要本文的详细复现过程的项目源码、数据和预训练好的模型可从该地址处获取完整版:地址此论文标题是《RIFE: Real-Time Intermediate Flow Estimation for Video Frame Interpolation》,意为一种实时的视频插帧光流估计方法。该论文被ECCV 2022收录,提出了一个十分轻量又准确的光流估计网络IFNet,用于完成视频插帧任务。
小白难
6 个月前
学习
·
音视频
·
超分辨率重建
学习视频超分辨率扩散模型中的空间适应和时间相干性(原文翻译)
扩散模型只是在图像超分辨率任务的临界点上。然而,利用扩散模型进行视频超分辨率并非易事,这不仅需要将视觉外观从低分辨率视频保存到高分辨率视频,还需要保留视频帧之间的时间一致性。在本文中,我们提出了一种新的方法,追求空间适应和时间相干性(SATeCo),用于视频超分辨率。SanteCo 专注于从低分辨率视频中学习时空指导,以校准潜在空间高分辨率视频去噪和像素空间视频重建。从技术上讲,SATeCo 冻结了预训练的 UNet 和 VAE 的所有参数,并且在 UNet 和 VAE 的解码器中只优化了两个有意设计的空
神秘的土鸡
6 个月前
图像处理
·
人工智能
·
深度学习
·
超分辨率重建
信息增强的图像超分辨率重建
🏡作者主页:点击!🤖编程探索专栏:点击!⏰️创作时间:2024年11月29日21点02分神秘男子影, 秘而不宣藏。 泣意深不见, 男子自持重, 子夜独自沉。
是Winky啊
6 个月前
论文阅读
·
深度学习
·
计算机视觉
·
超分辨率重建
【论文阅读】WGSR
1.超分辨率(SR)是一个不适定逆问题,可行解众多。2.超分辨率(SR)算法在可行解中寻找一个在保真度和感知质量之间取得平衡的“良好”解。
啊文师兄
6 个月前
python
·
算法
·
概率
·
超分辨率重建
大连理工大学概率上机作业免费下载
本资源库收录了大连理工大学概率论与数理统计课程的上机作业范例代码,旨在通过实际操作加深学生对概率统计概念的理解,帮助学生更好地理解和掌握知识点。
是Winky啊
7 个月前
论文阅读
·
超分辨率重建
【论文阅读】Real-ESRGAN
学习资料为什么研究这个?现在的模型有什么局限?方法中的图片的退化过程不足以模拟现实中的复杂退化情况。GAN被用作损失监督→解决方案更接近自然流形
安逸sgr
8 个月前
图像处理
·
人工智能
·
深度学习
·
计算机视觉
·
transformer
·
超分辨率重建
图像修复-SwinIR: Image Restoration Using Swin Transformer
SwinIR是一个专门用于图像修复任务的基线模型,它基于Swin Transformer架构。相比于基于卷积神经网络的传统方法,SwinIR利用了Transformer在高层次视觉任务中的优异表现。