手写字魔法消除3:深度学习PmrNet神经网络实现图片修复(含训练代码、数据集和GUI交互界面)

第一步: PmrNet介绍

PmrNet是一种基于U-Net架构改进的深度学习网络,来自于论文《Practical Deep Raw Image Denoising on Mobile Devices》,这个网络聚焦于在移动设备上实现高效的原始图像(RAW)去噪(本文用来做手写字消除),解决了传统方法在计算资源受限的移动端难以部署的问题。


​核心特点​

高效网络设计​
  • ​轻量级架构​:采用计算高效的U-Net变体,减少参数量和计算量。
  • ​注意力机制优化​:引入通道注意力等轻量化注意力模块,提升去噪效果而不显著增加计算负担。
  • ​量化与加速​:应用模型量化(如8位整数量化)和硬件感知的加速技术(如ARM NEON指令集),适配移动CPU/DSP。

第二步:PmrNet网络结构

作者所设计的降噪模型就是一种简单但带残差连接的UNet架构,其中UNet部分包含4个encode以及4个decoder。 为确保降噪模型可以更好的运行在手机端,作者采用分离卷积以降低计算量,常规卷积仅在网络的头和尾部应用。在encoder部分,作者采用5×5卷积提升感受野并降低网络深度,下采样模块则采用stride=2的卷积;在decoder部分,作则会采用3×3分离卷积,上采样模块则采用2×2反卷积。对应的encoder与decoder通过残差连接方式进行特征融合,在融合之前先对encoder特征采用3×3分离卷积进行通道维度对齐。最后,将所学习到的残差与输入图像相加即可得到降噪结果。

第三步:模型代码展示

python 复制代码
class PmrNet(nn.Module):
    def __init__(self, in_channels=1):
        super(PmrNet, self).__init__()

        self.conv0 = Conv2D(in_channels=in_channels, out_channels=16, kernel_size=3, padding=1, stride=1,
                            is_seperable=False,
                            has_relu=True)
        self.enc1 = EncoderStage(in_channels=16, out_channels=64, num_blocks=2)
        self.enc2 = EncoderStage(in_channels=64, out_channels=128, num_blocks=2)
        self.enc3 = EncoderStage(in_channels=128, out_channels=256, num_blocks=4)
        self.enc4 = EncoderStage(in_channels=256, out_channels=512, num_blocks=4)

        self.encdec = Conv2D(in_channels=512, out_channels=64, kernel_size=3, padding=1, stride=1, is_seperable=True,
                             has_relu=True)
        self.dec1 = DecoderStage(in_channels=64, skip_in_channels=256, out_channels=64)
        self.dec2 = DecoderStage(in_channels=64, skip_in_channels=128, out_channels=32)
        self.dec3 = DecoderStage(in_channels=32, skip_in_channels=64, out_channels=32)
        self.dec4 = DecoderStage(in_channels=32, skip_in_channels=16, out_channels=16)

        self.out0 = DecoderBlock(in_channels=16, out_channels=16, kernel_size=3)
        self.out1 = Conv2D(in_channels=16, out_channels=in_channels, kernel_size=3, stride=1, padding=1,
                           is_seperable=False,
                           has_relu=False)

    def forward(self, inp):
        conv0 = self.conv0(inp)
        conv1 = self.enc1(conv0)
        conv2 = self.enc2(conv1)
        conv3 = self.enc3(conv2)
        conv4 = self.enc4(conv3)

        conv5 = self.encdec(conv4)

        up3 = self.dec1((conv5, conv3))
        up2 = self.dec2((up3, conv2))
        up1 = self.dec3((up2, conv1))
        x = self.dec4((up1, conv0))

        x = self.out0(x)
        x = self.out1(x)

        pred = inp + x
        return pred

第四步:运行交互代码

第五步:整个工程的内容

项目完整文件下载请见演示与介绍视频的简介处给出:➷➷➷

手写字魔法消除:深度学习PmrNet神经网络实现图片修复(含训练代码、数据集和GUI交互界面)_哔哩哔哩_bilibili

相关推荐
北京耐用通信3 分钟前
打破协议壁垒:耐达讯自动化Modbus转Profinet网关实现光伏逆变器全数据采集
运维·人工智能·物联网·网络安全·自动化·信息与通信
信息快讯15 分钟前
【机器学习在智能水泥基复合材料中的应用与实践】
人工智能·机器学习·材料工程·复合材料·水泥基复合材料
AI technophile33 分钟前
OpenCV计算机视觉实战(27)——深度学习与卷积神经网络
深度学习·opencv·计算机视觉
技术闲聊DD36 分钟前
深度学习(10)-PyTorch 卷积神经网络
pytorch·深度学习·cnn
Juchecar1 小时前
如何理解“AI token 大宗商品化”?
人工智能
文火冰糖的硅基工坊1 小时前
[人工智能-大模型-29]:大模型应用层技术栈 - 第二层:Prompt 编排层(Prompt Orchestration)
人工智能·大模型·prompt·copilot
大模型真好玩1 小时前
LangGraph实战项目:从零手搓DeepResearch(三)——LangGraph多智能体搭建与部署
人工智能·langchain·mcp
飞哥数智坊1 小时前
DeepSeek-OCR:用“看图”代替“读文”,一种更像人类的上下文压缩方式
人工智能·deepseek
Python图像识别1 小时前
73_基于深度学习的水面漂浮垃圾检测系统(yolo11、yolov8、yolov5+UI界面+Python项目源码+模型+标注好的数据集)
python·深度学习·yolo
L.fountain1 小时前
强化学习2.2 MDP实践——Frozen lake
人工智能·强化学习