一、论文基本情况
最近学习了一篇关于扩散模型水印的论文，题目是 "T2SMark: Balancing Robustness and Diversity in Noise-as-Watermark for Diffusion Models" ，作者包括 Yang J、Fang H、Zhang W 等。该论文发表于 Advances in Neural Information Processing Systems ，NeurIPS 2025 /
这篇论文主要关注生成式AI图像的版权保护与溯源问题。随着 Stable Diffusion 等扩散模型在图像生成、图像编辑、超分辨率重建和风格迁移等任务中的广泛应用，AI生成图像的来源认证、版权归属和滥用追踪逐渐成为重要问题。水印技术正是在这样的背景下被重新重视起来。
与传统图像水印不同，T2SMark 关注的是扩散模型中的 Noise-as-Watermark 思路，也就是"噪声即水印"。它不是在图像生成之后再修改像素，也不是通过微调模型参数嵌入水印，而是直接在扩散模型的初始噪声中编码水印信息，使生成图像天然携带可检测的水印。
二、研究背景：为什么扩散模型需要水印？
扩散模型的基本过程可以理解为两个阶段：正向扩散过程和反向生成过程。正向过程不断向图像加入噪声，直到图像逐渐变成接近高斯分布的随机噪声；反向过程则从随机噪声出发，通过训练好的模型逐步去噪，最终生成逼真的图像。
正因为扩散模型的生成质量越来越高，AI生成图像和真实图像之间的边界变得越来越模糊。这带来了几个实际问题：一张图像是否由AI生成？它是否来自某个特定模型？如果生成图像被传播、篡改或滥用，是否还能追踪来源？这些问题都需要可靠的水印或溯源技术来支撑。
传统图像水印通常是在图像生成完成后，再在像素域或变换域中嵌入水印。例如 dwtDct、dwtDctSvd、RivaGAN 等方法都属于这一类。这些方法实现相对直接，但也存在明显缺点：它们可能影响图像视觉质量，并且在面对压缩、噪声、裁剪等攻击时，水印容易被破坏。
另一类方法是微调水印，例如 Stable Signature。它通过微调扩散模型，让模型生成的图像天然带有水印。这类方法的优势是水印与模型生成过程结合更紧密，但缺点是成本较高，不同模型往往需要单独微调，而且可能影响原模型的生成能力。
T2SMark 所针对的核心问题，是现有 Noise-as-Watermark 方法很难同时兼顾鲁棒性和多样性。
所谓鲁棒性，是指图像经过压缩、噪声、滤波、亮度变化等攻击后，水印仍然能够被正确检测或提取。所谓多样性，是指即使嵌入相同水印，扩散模型仍然能够生成不同的图像，而不是每次输出高度相似甚至完全一样的结果。
已有方法中，Gaussian Shading 的鲁棒性较强，但它使用固定密钥进行编码，容易导致初始噪声固定，从而使生成图像缺乏多样性。简单来说，如果每次输入噪声都差不多，那么生成结果自然也会趋同。
而 PRC-Watermark 这类方法虽然引入了伪随机机制，能够保持一定的生成多样性，但它将水印信息编码在较脆弱的区域，尤其是接近零的位置。由于这些位置非常容易受到扰动，轻微攻击就可能导致符号翻转，进而造成水印提取失败。
因此，T2SMark 想解决的问题可以概括为一句话：如何在不牺牲生成多样性的前提下，提高扩散模型噪声水印的鲁棒性？
三、T2SMark的核心思想
T2SMark 的设计思路比较清晰，主要包括两个关键模块：尾部截断采样 和两阶段随机密钥框架。
尾部截断采样主要用于提升水印鲁棒性。它的核心想法是，不把水印比特嵌入到靠近零的脆弱区域，而是嵌入到高斯分布中远离零的尾部区域。这样做可以增大水印比特与判决边界之间的距离，使符号更不容易因为攻击而发生翻转。
两阶段随机密钥框架主要用于保持生成多样性。它不是每次都使用固定密钥直接嵌入水印，而是先随机生成一个会话密钥，再用主密钥保护会话密钥，最后用会话密钥嵌入真正的水印信息。由于每次会话密钥不同，即使水印内容相同，最终构造出的初始噪声也不同，从而保证生成图像具有较好的多样性。
这两个模块分别对应论文标题中的两个关键词：鲁棒性和多样性。尾部截断采样解决"稳不稳"的问题，两阶段随机密钥解决"变不变"的问题。
在基于噪声的扩散水印中，水印比特通常通过噪声向量在某些方向上的投影符号来表示。比如投影为正表示比特 1，投影为负表示比特 0。这样做的风险在于，如果投影值非常接近 0，那么一点点扰动就可能改变符号。
可以打一个简单比方：如果一个数是 +0.01，只要受到很小的噪声干扰，它就可能变成 -0.02，符号立刻反转；但如果一个数是 +2.5，即使受到一定扰动，它仍然大概率保持为正。T2SMark 正是利用了这个直觉，把水印信息尽量放到远离 0 的区域中。
具体来说，T2SMark 会根据阈值将高斯分布划分为两个区域：中心区域主要用于保持随机噪声特性，尾部区域用于承载水印比特。这样既不会完全破坏噪声分布，又能让水印嵌入位置更加稳定。
这一设计的好处是比较直接的：水印不再贴着判决边界存放，因此在图像经过一定攻击后，即使反演得到的噪声发生偏移，投影符号仍然有较大概率保持不变。
四、两阶段随机密钥：在固定水印中引入随机性
如果只考虑鲁棒性，直接使用固定密钥编码水印似乎是一个简单选择。但问题在于，固定密钥会带来固定噪声结构，进而导致生成图像缺乏变化。对于扩散模型来说，多样性是非常重要的，因为用户希望模型在相同提示词下仍然能够生成不同的图像。
T2SMark 通过两阶段随机密钥框架解决这个问题。第一阶段使用固定主密钥嵌入随机生成的会话密钥，第二阶段使用这个会话密钥嵌入真正的用户水印。由于会话密钥每次都不同，所以即使用户水印不变，每次生成的初始噪声也会不同。
这个设计有点像通信系统里的"主密钥 + 会话密钥"结构。主密钥负责稳定认证，会话密钥负责每次生成时引入随机性。这样既避免了完全固定编码带来的单调性，又保证水印提取时仍然有可恢复的密钥路径。
不过，这个设计也带来了一个隐患：第一阶段的会话密钥必须准确恢复。如果会话密钥中哪怕只有一位出错，第二阶段生成的法向量就可能完全不同，最终导致真正的水印信息无法提取。这也是 T2SMark 后续实验和复现中暴露出的一个问题。
五、水印嵌入与提取流程
从整体流程来看，T2SMark 的水印嵌入过程可以分为三个步骤。
首先，方法根据主密钥和会话密钥生成若干伪随机法向量。这些法向量对应噪声空间中的不同子空间，用来决定水印比特嵌入的方向。
其次，方法通过尾部截断采样生成噪声分量。对于需要嵌入水印的位置，噪声值会被采样到远离零的尾部区域；对于不承载水印的位置，则保持较普通的随机噪声特性。
最后，方法根据水印比特调整噪声在对应法向量方向上的符号。如果某一比特为 1，就让投影符号为正；如果比特为 0，就让投影符号为负。这样，水印信息就被编码进初始噪声中。
水印提取过程则反过来进行。接收到一张可能经过攻击的水印图像后，方法先通过扩散反演将图像映射回潜在噪声空间。随后使用主密钥恢复会话密钥，再使用恢复出的会话密钥生成对应法向量，最后根据投影符号恢复水印比特。
需要注意的是，真正的用户水印不一定要求每一位都完全正确，因为可以通过相似度匹配判断水印身份。但会话密钥不同，它必须高度准确，否则后续提取流程会受到严重影响。
六、实验结果
论文实验主要围绕鲁棒性、多样性、图像质量、不可检测性、泛化能力和消融实验展开。实验模型主要使用 Stable Diffusion v2.1，输出图像分辨率为 512×512，采样器为 DDIM，数据集包括 MS-COCO-2017 和 Stable-Diffusion-Prompt。
在鲁棒性实验中，T2SMark 在检测率 TPR 和比特准确率 Bit Accuracy 上整体优于多个基线方法。这说明尾部截断采样确实能够提升水印比特的稳定性。尤其是在一些常见图像处理攻击下，T2SMark 仍然能够保持较好的提取效果。
在多样性实验中，T2SMark 相比 Gaussian Shading 具有明显优势。由于每次生成都会引入不同的会话密钥，初始噪声不会被固定住，因此生成图像能够保持较好的变化性。实验中，T2SMark 的 FID 与原模型较为接近，说明它没有明显破坏扩散模型原有的生成分布。
在不可检测性方面，论文使用 ResNet-18 分类器判断水印图像是否容易被区分。结果显示，T2SMark 在保持鲁棒性和多样性的同时，也具有较好的不可检测性。也就是说，水印图像并不会明显表现出与普通生成图像不同的统计特征。
泛化实验表明，T2SMark 不仅可以应用在 Stable Diffusion v2.1 上，也在其他版本模型上具有一定适用性。不过，从实际应用角度看，这种泛化能力仍然需要在更多模型、更多采样器和更多真实平台场景中进一步验证。
七、消融实验
论文还进行了比较丰富的消融实验，包括尾部截断采样、反演步数、水印容量、会话密钥大小、截断阈值和噪声通道划分等。
从尾部截断采样的消融结果来看，该模块对鲁棒性提升非常关键。如果不使用尾部截断采样，水印比特更容易落在靠近零的脆弱区域，攻击后符号翻转的概率会明显增加。
反演步数实验说明，T2SMark 在一定范围内对反演步数并不特别敏感，这有利于提升实际提取效率。因为如果一个方法必须依赖大量反演步骤才能提取水印，那么它在实际检测场景中的成本会比较高。
水印容量实验表明，T2SMark 在较高容量下仍然能够保持较高的提取精度。这一点比较重要，因为实际溯源往往不只是判断"有没有水印"，还可能需要嵌入用户ID、模型ID或其他版权信息。
会话密钥大小实验则暴露出一个值得注意的问题：随着会话密钥长度增加，密钥恢复准确率可能下降。这说明两阶段密钥机制虽然提升了多样性，但也引入了新的不稳定因素。如何在会话密钥长度、嵌入容量和提取稳定性之间平衡，是后续值得进一步研究的问题。
八、方法局限与个人思考
虽然 T2SMark 的整体表现比较突出，但它并不是一个没有缺点的方法。
首先，它对高斯噪声攻击比较敏感。由于水印恢复依赖噪声空间中的符号判决，而高斯噪声会直接扰动反演后的噪声表示，因此在某些噪声攻击下，性能可能会快速下降。
其次，两阶段密钥框架存在级联错误风险。第一阶段会话密钥一旦恢复错误，第二阶段水印提取就可能整体失败。这种问题在实际系统中比较危险，因为它意味着少量关键比特错误可能造成整个溯源失败。
T2SMark 依赖扩散反演过程，因此更适合 DDIM 这类支持反演的采样器。如果面对不易反演的采样过程，或者实际平台没有开放完整生成参数，方法的适用性会受到限制。
它对旋转、缩放等几何攻击的抵抗能力仍然不足。而真实传播场景中，图像经常会被截图、压缩、裁剪、缩放甚至二次编辑。如果水印方法不能适应这些变化，那么实际落地仍然会面临困难。
还需要考虑水印伪造风险。强鲁棒水印虽然有助于溯源，但如果攻击者能够通过反演或迁移方式构造另一张"带有相同水印"的伪造图像，那么水印本身也可能被滥用。因此，未来的扩散模型水印不仅要考虑鲁棒性，还要考虑不可伪造性和责任归属的可靠性。
九、总结
总体来看，T2SMark 是一篇思路比较清晰、问题意识比较明确的扩散模型水印论文。它抓住了现有 Noise-as-Watermark 方法中鲁棒性和多样性难以兼顾的问题，并通过尾部截断采样和两阶段随机密钥框架给出了较有针对性的解决方案。
尾部截断采样让水印比特远离脆弱的判决边界，从而提升鲁棒性；两阶段随机密钥框架通过引入会话密钥，使相同水印也能对应不同初始噪声，从而保持生成图像多样性。实验结果表明，该方法在鲁棒性、多样性、图像质量和不可检测性之间取得了较好的平衡。
对我来说，这篇论文最大的启发在于：扩散模型水印不一定只能从图像后处理或模型微调角度入手，也可以深入到生成过程的初始噪声空间中进行设计。未来如果能够进一步解决高斯噪声敏感、几何攻击脆弱、反演依赖强以及密钥级联错误等问题，这类方法在生成式AI内容溯源中会有更大的应用潜力。