写在前面
近期，在备受瞩目的CSIG青年科学家会议AI可信论坛上，合合信息精彩亮相，再次彰显其在人工智能领域的技术实力。合合信息图像算法研发总监郭丰俊深入分享了视觉内容安全技术的前沿进展与实际应用，引发了现场与会者的广泛关注与热烈讨论。
作为AI可信领域的重要一环，视觉内容安全技术近年来备受行业瞩目，郭老师以独到的见解和丰富的实践案例，为与会者详细解析了该技术如何助力内容生产与传播的安全升级。论坛现场学术与产业界精英云集，郭老师的精彩演讲不仅展示了合合信息的技术深耕成果，也为行业未来的发展提供了全新的思路。
合合信息是一家人工智能及商业大数据科技企业，本文旨在深入探讨合合信息在视觉内容安全技术方面的前沿进展与应用。首先，视觉内容安全问题日益受到重视，特别是含文字的图像内容仍存在诸多待解决的问题，具有较高的研究价值。其次，提出了视觉内容安全防护的整体规划，包括从业务各环节考虑高效、经济的协同方案，制定标准以促进系统落地，并通过主动与被动防护的融合，提升系统的效果和效率。最后，强调大模型等新技术在视觉内容安全领域的巨大应用潜力，为未来解决内容安全挑战提供强有力的技术支撑。
视觉内容安全发展现状
随着生成式AI技术的迅猛发展，视觉安全需求的增加主要受到以下因素驱动：
- AI技术降低伪造门槛：生成式AI极大提升了图像、文本和票据伪造的技术水平，如人脸替换、发票篡改和卡证信息伪造变得更加轻松，传统的防伪手段难以应对。
- 黑灰产业链的扩张：视觉内容篡改已成为黑灰产牟利的重要工具，诸如伪造法律文书、修改医疗票据金额等问题直接威胁金融、医疗和法律行业的秩序，甚至引发严重的社会信任危机。
- 企业和政府的刚性需求：对于企业而言，防范票据和证件伪造至关重要；而政府则需要确保身份证明文件和法律文书的真实性与权威性。随着数字化进程的加速，安全需求日益成为刚性要求。 举几个伪造数字内容的例子：
1、信息篡改
2、伪造身份信息
视觉内容安全技术分类
正是基于以上种种视觉内容安全的需求，市面上逐渐出现了主动鉴别和被动鉴别两种方式。主动鉴别利用数字水印等技术，能够有效识别无痕迹篡改并进行溯源，主要用于产权保护和伪造检测。被动鉴别则不依赖于水印，可通过文件标记和分类等技术处理任意图像，适用于卡证防伪、文档票据伪造检测等领域。这两种方法各有优势，共同增强了图像内容的安全性和防伪能力。
郭老师在接下来的会议中向我们展示了合合信息研发的通用篡改检测系统和人脸鉴伪检测技术。
通用篡改检测
通用篡改检测系统是合合信息的内容安全系统之一，它具有低误检-高检出的特点。鉴于图像篡改所引发的种种问题，合合信息早在数年前便着手研发针对文档与证照伪造的检测技术。
他研发的基于深度学习的图像篡改检测技术及相关系统，通过学习图像被篡改后统计特征的变化，智能捕捉图像在篡改过程中留下的细微痕迹，可检测出复制粘贴、拼接、擦除等多种篡改形式。在AI识别出篡改区域后，图像篡改检测系统会以热力图的形式展示图像区域篡改地点，提醒审核员重点审核。
此外，合合信息的智能图像处理技术可通过助力图像"质检"，对翻拍、模糊、曝光过强、黑白等场景图像进行识别检测。如果图像质量不符合进件要求，系统将自动剔除不合格证件，并在前端实时反馈用户，提醒重新扫描或拍摄。该项技术可有效提高开户材料采集效率和图像质量，降低金融机构的二次进件情况，提升客户体验与服务质量。
鉴于应用场景的广泛性和伪造手段的日新月异，他又创新性地推出了基于小样本的在线增量升级检测技术，以迅速适应并满足客户的多样化需求。该检测技术具有少量标注、T+0更新、持续学习、适应性强的特点。
人脸鉴伪检测
合合信息同时还研发了伪造人脸图像的检测，核心在于通过大批量不同来源、生成技术的Deepfake样本训练，提供随伪造技术同步成长的防伪手段。
人脸伪造图像检测产品，基于SaaS、私有化同步策略开发，用户可以直接在textIn官网在线体验，立刻对手边有问题的照片、截图进行识别分析。
此外，合合信息还在2023- ICDAR 2023 DTT比赛中获得冠军，在2024-全球AI攻防挑战：AI核身之金融场景凭证篡改检测比赛中获得冠军团队。
领域挑战问题
目前，虽然我们已经在视觉内容安全领域取得了一些成果，但是领域挑战问题依然客观存在，它主要表现在以下方面：
- 跨域泛化能力：系统需具备在不同领域或场景下处理图像的能力，适应多种应用环境。
- 篡改检测：系统需对截图、PDF等纯色背景图像进行篡改检测，且篡改后无明显视觉异常。
- 质量退化处理：处理因多次传输、压缩、存档导致的模糊、JPEG伪影、下采样等问题，防止篡改痕迹的不可逆损失。
- 检出精度与误检率平衡：保证高检出率的同时，尽可能降低误判率，确保检测结果的准确性。这些要求概述了一个图像处理系统需要满足的关键性能指标。
除了分享视觉内容安全的发展现状之外，郭老师还向我们介绍了视觉内容安全技术的发展趋势。
视觉内容安全技术趋势
内容安全系统主要需求方向
内容安全系统主要需求方向可以大致分为图像篡改、人脸伪造、声纹伪造等方面，它们的伪造手段和攻击场景又不尽相同。如下图所示
技术探索
郭老师表示，技术的高准确性、广泛适用性、强泛化能力和易于优化的特性，是其被探索的重要原因：准确率高潜力 ：能够利用多模态信息，提高检测或识别的准确性。使用便利 ：支持多场景和多类别的统一系统，提升实用性。泛化能力优 ：处理未见过的新类别时，性能下降较少。便于知识注入：通过交互方式注入知识，优化最终结果。
另外，伪造图像检测开始借助大模型的能力，比如伪造图像真假二分类及篡改区域的定位依赖小模型，比如小模型确定篡改位置后，将结果提示给大模型, 利用大模型自然语言解释异常区域。
总结
随着技术的不断发展，视觉内容篡改和伪造的手段也越来越高级和隐蔽。因此，需要不断更新和优化视觉内容安全技术，提高识别和检测的准确性和效率。相信未来合合信息，会在视觉内容安全技术方面继续取得突破和创新。随着技术的不断进步和应用场景的不断拓展，视觉内容安全技术将会在未来发挥更加重要的作用，为保障网络安全、维护社会稳定和保护个人隐私做出更大的贡献。