CL-SEC: Cross-Layer Semantic Error Correction Empowered byLanguage Models

文章目录

- 摘要
- [1 引言](#1 引言)
- 摘要
- [1 引言](#1 引言)
- [2 系统架构](#2 系统架构)
- [3 CL-SEC 框架的关键组件](#3 CL-SEC 框架的关键组件)
- - [3.1 软信息与硬判决](#3.1 软信息与硬判决)
  - [3.2 CL-SEC 概述](#3.2 CL-SEC 概述)
  - [3.3 错误检测与纠错候选词](#3.3 错误检测与纠错候选词)
  - [3.4 单词级物理层概率分布](#3.4 单词级物理层概率分布)
  - [3.5 应用层概率分布](#3.5 应用层概率分布)
  - [3.6 跨层单词纠错](#3.6 跨层单词纠错)
  - [3.7 标点恢复](#3.7 标点恢复)
- [4 仿真结果](#4 仿真结果)
- - [4.1 实验设置](#4.1 实验设置)
  - [4.2 BER 与 WER 性能](#4.2 BER 与 WER 性能)
  - [4.3 BERTScore 与 ROUGE-L 性能](#4.3 BERTScore 与 ROUGE-L 性能)
- [5 相关工作](#5 相关工作)
- [6 结论与展望](#6 结论与展望)
- 致谢

摘要

实现可靠通信长期以来一直是网络系统面临的一项根本挑战。语义纠错（Semantic Error Correction，SEC）利用语言模型（Language Model，LM）的语义理解能力，在应用层执行错误纠正，以补充传统信道译码。现有 SEC 方法虽然前景可观，却只依赖 LM 在应用层捕获的上下文，忽略了物理层可提供的丰富信息。为克服这一局限，本文提出跨层语义纠错（Cross-Layer Semantic Error Correction，CL-SEC）：一种由 LM 赋能的纠错框架，融合物理层与应用层的跨层信息，共同纠正文本通信中受损的单词。CL-SEC 采用为该框架量身设计的乘积形式贝叶斯组合（a Bayesian combination in product form），相较于在孤立层内处理信息的方法，性能显著提高。CL-SEC 在多项纠错指标上均取得可观增益，包括误比特率、误词率和语义保真度分数。更重要的是，与大多数只关注恢复传输消息语义含义（the semantic meaning of transmitted messages）的语义通信系统不同，CL-SEC 的目标是原样重构原始传输消息（the original transmitted message verbatim），借助 LM 的语义理解能力实现精确还原。

CCS 概念： 网络 → 网络可靠性；错误检测与纠错。

关键词： 错误纠正，语言模型，语义通信，语义纠错，跨层纠错

1 引言

错误纠正一直是网络系统中的长期研究课题。网络系统对可靠性要求很高，但其本质上仍容易受到传输错误影响。经典信道编码方法在传输数据中引入受控冗余，使接收端能够实施前向纠错（Forward Error Correction，FEC） $8, 10, 12$ 。这些技术利用编码消息内部的统计关系，使接收端能够在物理层检测并纠正传输错误。物理层方法已被证明在纠错方面十分有效，也是现代通信系统的基石，但在极端恶劣的信道条件下仍可能遇到无法恢复的错误。因此，寻找更稳健的纠错方法始终是研究界持续关注的方向。

语言模型的快速发展为解决纠错问题开辟了新途径。LM 利用从海量训练数据中获得的语义理解能力，通过识别语言模式（by recognizing linguistic patterns）来发现受损文本，并依据上下文连贯性（based on contextual coherence）进行修订。传统物理层方法依赖信号级信息，而 LM 则利用语义与语言模式（semantic and linguistic patterns），以符合人类交流逻辑和结构的方式纠错。通过对语言进行更深入的理解，LM 在应用层处理错误，因而为传统 FEC 提供了互补手段。

以图 1 为例，接收端收到了一条受损消息（第二个框）。若消息受损严重，物理层 FEC 之后仍可能残留错误（第三个框）。SEC 利用 LM 处理这些残余错误。例如，LM 可以检查消息，识别出诸如 "syategs" 这样的受损单词，并将其修订为正确的 "systems"（第四个框中的"独立 SEC"）。这种在 FEC 之后利用 LM 纠正错误单词的方法是一种基本 SEC，它额外增加了一层纠错能力来处理残余错误。

文章目录

- 摘要
- [1 引言](#1 引言)
- 摘要
- [1 引言](#1 引言)
- [2 系统架构](#2 系统架构)
- [3 CL-SEC 框架的关键组件](#3 CL-SEC 框架的关键组件)
- - [3.1 软信息与硬判决](#3.1 软信息与硬判决)
  - [3.2 CL-SEC 概述](#3.2 CL-SEC 概述)
  - [3.3 错误检测与纠错候选词](#3.3 错误检测与纠错候选词)
  - [3.4 单词级物理层概率分布](#3.4 单词级物理层概率分布)
  - [3.5 应用层概率分布](#3.5 应用层概率分布)
  - [3.6 跨层单词纠错](#3.6 跨层单词纠错)
  - [3.7 标点恢复](#3.7 标点恢复)
- [4 仿真结果](#4 仿真结果)
- - [4.1 实验设置](#4.1 实验设置)
  - [4.2 BER 与 WER 性能](#4.2 BER 与 WER 性能)
  - [4.3 BERTScore 与 ROUGE-L 性能](#4.3 BERTScore 与 ROUGE-L 性能)
- [5 相关工作](#5 相关工作)
- [6 结论与展望](#6 结论与展望)
- 致谢

摘要

CCS 概念： 网络 → 网络可靠性；错误检测与纠错。

关键词： 错误纠正，语言模型，语义通信，语义纠错，跨层纠错

1 引言

图 1：不同方法的纠错示例。

注释：

Standalone SEC（独立 SEC）： 只利用语言模型根据上下文纠正 FEC 后残留的文本错误，因此可能恢复出"语义上通顺、但不是原始单词"的结果。例如图中把原词恢复成语义相近但不准确的词。

CL-SEC（Cross-Layer Semantic Error Correction，跨层语义纠错）： 同时利用语言模型的上下文判断和物理层 FEC/LLR 提供的比特级软信息。它不是只追求句子意思合理，而是希望候选词既符合语义上下文，也符合接收到的物理层比特证据，从而更接近原始发送文本。

为说明本文方法的动机，下面分析 FEC 后独立 SEC 的局限。独立 SEC 只在应用层运行，在接收结果受损严重时仍可能无法恢复传输消息。具体而言，它可能存在两个主要问题：

语义不准确： 独立 SEC 可能产生语义上合理、事实上却错误的输出。例如，图 1 示例 A 中恢复出的 "encrypted" 与第三个框中的受损句子在上下文上连贯，却没有表达原词 "corrupted" 的预期含义。
词汇不精确： 独立 SEC 可以保留语义，却无法保证词汇准确。例如，示例 B 中恢复出的短语 "transmitted signals" 与原始消息语义一致，但在字面上偏离了原词 "messages"。在协议规范或技术文档等要求原文级准确的场景中，这类偏差可能造成严重误解。

为解决这些问题并充分释放 LM 的纠错潜力，本文提出 CL-SEC。该方法在 FEC 之后运行，以进一步优化纠错结果。独立 SEC 只依据 FEC 后的译码文本并以语义恢复为目标；CL-SEC 则结合物理层 FEC 概率和 LM 给出的应用层语义概率（by integrating physical-layer FEC probabilities with application layer semantic probabilities from LMs），即使在严重受损的情况下也能实现原文级文本恢复。

本文方法的核心与主要贡献如下：

新颖的 CL-SEC 纠错框架： 以单词为基本纠错单元。单词长度信息经过压缩并嵌入帧头，使接收端能够确定所传输单词的边界。接收端检测可能出错的单词，并为每个错误单词生成潜在替换候选集。
双层概率分布： CL-SEC 利用两种互补分布，从候选集中共同确定最合适的替换词：其一是物理层概率分布，由信道译码产生的软对数似然比（Log-Likelihood Ratio，LLR）导出；其二是从 LM 提取的应用层概率分布。
跨层贝叶斯组合： 以乘积形式组合两种互补分布，计算候选词的跨层后验概率。本文借助置信传播原理的类比来论证这种组合，并通过详细分析准确指出该方法中的近似发生在何处。
广泛的实验验证： 实验表明，CL-SEC 通过引入语义信息显著增强经典信道译码，实现更优的原文级恢复。与只利用物理层 LLR 或应用层 LM 改进 FEC 后结果的方法相比，CL-SEC 在误比特率、误词率和语义保真度分数等关键指标上均显著改善。

2 系统架构

考虑传输一个包含自然语言消息的帧。图 2 给出了采用 CL-SEC 框架的通信系统框图，其中以单词作为基本纠错单元。

发送端首先删除原始消息 p \mathbf{p} p 中的所有标点和空格，剩余 N N N 个单词，记作 w n , n ∈ N ≜ { 1 , ... , N } \mathbf{w}_n,\ n\in\mathcal{N}\triangleq\{1,\ldots,N\} wn, n∈N≜{1,...,N}。令 L n L_n Ln 表示 w n \mathbf{w}n wn 的字母数，即词长。连接全部单词可得长度为 L = ∑ n = 1 N L n L=\sum{n=1}^{N}L_n L=∑n=1NLn 的字符序列 s = ( w 1 , ... , w N ) \mathbf{s}=(\mathbf{w}_1,\ldots,\mathbf{w}N) s=(w1,...,wN)。词长信息 { L n } n ∈ N \{L_n\}{n\in\mathcal{N}} {Ln}n∈N 被写入帧头，使接收端知道单词分界。¹

传输时，将每个字符 s l s_l sl（ l ∈ { 1 , ... , L } l\in\{1,\ldots,L\} l∈{1,...,L}）转换为 8 位 ASCII 表示。因此，单词 w n \mathbf{w}_n wn 被编码为 u n ∈ F 2 K n \mathbf{u}_n\in\mathbb{F}_2^{K_n} un∈F2Kn，其中 K n = 8 L n K_n=8L_n Kn=8Ln 是该词包含的比特数， F 2 ≜ { 0 , 1 } \mathbb{F}_2\triangleq\{0,1\} F2≜{0,1}。连接后得到比特序列 u = ( u 1 , ... , u N ) = ( u 1 , ... , u K ) ∈ F 2 K \mathbf{u}=(\mathbf{u}_1,\ldots,\mathbf{u}_N)=(u_1,\ldots,u_K)\in\mathbb{F}_2^K u=(u1,...,uN)=(u1,...,uK)∈F2K，其中 K = 8 L K=8L K=8L。随后，以码率 R R R 将 u \mathbf{u} u 信道编码为 c \mathbf{c} c。

¹ 本文采用规范霍夫曼编码高效压缩词长信息，即嵌入帧头、用于指定消息中各词长度的元数据，详见附录 B。评估表明，语料库中 98.73% 的段落其帧头开销低于 10%。为降低帧头受损概率，可对帧头采用比有效载荷更强的 FEC。若接收端能够自行估计词长而无需依赖词长元数据，则有望进一步消除帧头开销及其受损问题。

图 2：采用 CL-SEC 框架的通信系统，括号内标出向量维数。

为便于具体讨论，本文聚焦卷积码；但 CL-SEC 同样兼容低密度奇偶校验（Low-Density Parity-Check，LDPC）码等其他信道码。对于卷积码，假设每个信息比特输入码率为 R R R 的编码器并生成 1 / R 1/R 1/R 个比特。卷积码的记忆长度为 ν \nu ν，相应约束长度为 ν + 1 \nu+1 ν+1，即会影响当前输出比特的输入比特数（包括当前输入）为 ν + 1 \nu+1 ν+1。编码结束时用 ν \nu ν 个零比特清空记忆数据，故编码序列长度为 M = ( K + ν ) / R M=(K+\nu)/R M=(K+ν)/R。随后随机置换 c \mathbf{c} c 得 b = π ( c ) \mathbf{b}=\pi(\mathbf{c}) b=π(c)，再以调制阶数 2 M / Q 2^{M/Q} 2M/Q 将交织序列映射为符号 x = ( x 1 , ... , x Q ) ∈ C Q \mathbf{x}=(x_1,\ldots,x_Q)\in\mathbb{C}^{Q} x=(x1,...,xQ)∈CQ。信号通过加性白高斯噪声（Additive White Gaussian Noise，AWGN）信道，接收信号为 y = x + n \mathbf{y}=\mathbf{x}+\mathbf{n} y=x+n，其中 n ∼ C N ( 0 , σ 2 I Q ) \mathbf{n}\sim\mathcal{CN}(\mathbf{0},\sigma^2\mathbf{I}_Q) n∼CN(0,σ2IQ)。

接收端先解调得到估计比特 b ^ ∈ F 2 M \hat{\mathbf{b}}\in\mathbb{F}2^M b^∈F2M，再进行逆置换，得到 c ^ = π − 1 ( b ^ ) = ( c ^ 1 , ... , c ^ M ) \hat{\mathbf{c}}=\pi^{-1}(\hat{\mathbf{b}})=(\hat c_1,\ldots,\hat c_M) c^=π−1(b^)=(c^1,...,c^M)。如图 2 所示，软输出信道译码器产生比特级软 LLR λ = ( λ 1 , ... , λ K ) ∈ R K \boldsymbol{\lambda}=(\lambda_1,\ldots,\lambda_K)\in\mathbb{R}^K λ=(λ1,...,λK)∈RK，并通过硬判决恢复硬比特序列 u ^ h d ∈ F 2 K \hat{\mathbf{u}}{\mathrm{hd}}\in\mathbb{F}2^K u^hd∈F2K（见第 3.1 节）。再通过逆 ASCII 映射，将其还原为长度为 L L L 的字符序列 s ^ h d \hat{\mathbf{s}}{\mathrm{hd}} s^hd。

在严重受损时，FEC 后的 s ^ h d \hat{\mathbf{s}}{\mathrm{hd}} s^hd 中仍可能存在许多错误。为提高可靠性，本文利用 LLR，通过 CL-SEC 进一步纠正初步 FEC 结果中的错误（见第 3 节）。最后对 CL-SEC 输出 p ^ c l \hat{\mathbf{p}}{\mathrm{cl}} p^cl 恢复标点，得到消息恢复结果 p ^ \hat{\mathbf{p}} p^。

3 CL-SEC 框架的关键组件

3.1 软信息与硬判决

在介绍 CL-SEC 纠错前，先回顾采用软输出信道译码器的经典硬判决（Hard Decision，HD）纠错方案。该方案用于本系统的初步纠错和 LLR 生成（图 2）。CL-SEC 所需的 LLR 可由带软输出信道译码器的信道编码技术直接提供。本文采用卷积码和基于最大后验（Maximum A Posteriori，MAP）的 BCJR 译码器 $1, 14$ ，但该框架也可容纳其他软输出编码方案，例如采用置信传播译码器的 LDPC 码 $4, 11$ 。

注：

BCJR。 全称为 Bahl--Cocke--Jelinek--Raviv，名称取自四位提出者的姓氏。它是一种基于最大后验概率（MAP）的软输入软输出译码算法：利用卷积码的冗余和状态转移关系，计算每个源比特为 0 或 1 的后验概率，并输出相应的 LLR，供后续硬判决或进一步软信息处理使用。

回顾接收端的含噪编码比特 { c ^ m } m = 1 M \{\hat c_m\}{m=1}^{M} {c^m}m=1M。每个源比特 u k u_k uk（ k ∈ K ≜ { 1 , ... , K } k\in\mathcal{K}\triangleq\{1,\ldots,K\} k∈K≜{1,...,K}）的判决只取决于长度为 ( ν + 1 ) / R (\nu+1)/R (ν+1)/R 的序列 c ^ b i t , k = ( c ^ ( k − 1 ) / R + 1 , ... , c ^ ( k + ν ) / R ) \hat{\mathbf{c}}{\mathrm{bit},k}=(\hat c_{(k-1)/R+1},\ldots,\hat c_{(k+\nu)/R}) c^bit,k=(c^(k−1)/R+1,...,c^(k+ν)/R)。BCJR 译码器输出比特级软 LLR：

λ k ≜ log ⁡ ⁣ ( P ( c ^ b i t , k ∣ u k = 0 ) P ( c ^ b i t , k ∣ u k = 1 ) ) = ( a ) log ⁡ ⁣ ( P ( u k = 0 ∣ c ^ b i t , k ) P ( u k = 1 ∣ c ^ b i t , k ) ) , k ∈ K . (1) \lambda_k \triangleq \log\!\left(\frac{P(\hat{\mathbf{c}}{\mathrm{bit},k}\mid u_k=0)}{P(\hat{\mathbf{c}}{\mathrm{bit},k}\mid u_k=1)}\right) \overset{(a)}{=} \log\!\left(\frac{P(u_k=0\mid\hat{\mathbf{c}}{\mathrm{bit},k})}{P(u_k=1\mid\hat{\mathbf{c}}{\mathrm{bit},k})}\right),\quad k\in\mathcal{K}. \tag{1} λk≜log(P(c^bit,k∣uk=1)P(c^bit,k∣uk=0))=(a)log(P(uk=1∣c^bit,k)P(uk=0∣c^bit,k)),k∈K.(1)

注：

比特级软 LLR。 每个 λ k \lambda_k λk 都对应一个源比特 u k u_k uk，不仅表示译码器更倾向于将它判为 0 还是 1，还用数值大小表示判断的置信程度。按照式 (1) 的定义， λ k > 0 \lambda_k>0 λk>0 表示更倾向于 u k = 0 u_k=0 uk=0， λ k < 0 \lambda_k<0 λk<0 表示更倾向于 u k = 1 u_k=1 uk=1； ∣ λ k ∣ |\lambda_k| ∣λk∣ 越大，判断越有把握，而 λ k ≈ 0 \lambda_k\approx0 λk≈0 表示两种可能性接近、难以确定。之所以称为"软"信息，是因为它保留了这种置信度；硬判决则只保留最终的 0 或 1。

其中， ( a ) (a) (a) 来自比特 0 和 1 等概率的常用假设，即 P ( u k = 0 ) = P ( u k = 1 ) = 1 / 2 P(u_k=0)=P(u_k=1)=1/2 P(uk=0)=P(uk=1)=1/2。可由每个 λ k \lambda_k λk 得到逐比特后验概率 P ( u k = 0 ∣ c ^ b i t , k ) P(u_k=0\mid\hat{\mathbf{c}}_{\mathrm{bit},k}) P(uk=0∣c^bit,k)，其中 u k ∈ F 2 u_k\in\mathbb{F}_2 uk∈F2。随后，HD 给出完全由物理层产生的 FEC 后硬比特：

u ^ h d , k = arg ⁡ max ⁡ u k ∈ F 2 P ( u k ∣ c ^ b i t , k ) , k ∈ K . (2) \hat u_{\mathrm{hd},k}=\arg\max_{u_k\in\mathbb{F}2}P(u_k\mid\hat{\mathbf{c}}{\mathrm{bit},k}),\quad k\in\mathcal{K}. \tag{2} u^hd,k=arguk∈F2maxP(uk∣c^bit,k),k∈K.(2)

把比特序列 u ^ h d = ( u ^ h d , 1 , ... , u ^ h d , K ) \hat{\mathbf{u}}{\mathrm{hd}}=(\hat u{\mathrm{hd},1},\ldots,\hat u_{\mathrm{hd},K}) u^hd=(u^hd,1,...,u^hd,K) 映射为字符，并利用词长元数据将所得字符序列分割为单词，得到 s ^ h d = ( w ^ h d , 1 , ... , w ^ h d , N ) \hat{\mathbf{s}}{\mathrm{hd}}=(\hat{\mathbf{w}}{\mathrm{hd},1},\ldots,\hat{\mathbf{w}}{\mathrm{hd},N}) s^hd=(w^hd,1,...,w^hd,N)，其中 w ^ h d , n \hat{\mathbf{w}}{\mathrm{hd},n} w^hd,n 是基于 HD 的单词估计。下面提出由 LLR 辅助的 CL-SEC，在单词层面进一步优化初步 FEC 结果 { w ^ n } n = 1 N \{\hat{\mathbf{w}}n\}{n=1}^{N} {w^n}n=1N。

3.2 CL-SEC 概述

CL-SEC 以单词为基本纠错单元，具体包括：1）首先在 s ^ h d \hat{\mathbf{s}}_{\mathrm{hd}} s^hd 中检测错误单词，并为每个错误单词建立候选替换词列表（第 3.3 节），候选词长度由帧头元数据指定；2a）依据相应比特的 LLR 构造候选词的物理层概率分布，表示信号级证据（第 3.4 节）；同时，2b）由 LM 根据消息中周围单词提供的上下文评估候选词，得到应用层概率分布（第 3.5 节）；3）以乘积形式对两种互补分布进行贝叶斯组合，得到候选词的跨层后验分布，并选择概率最高的候选词纠正错误单词（第 3.6 节）。

在步骤 2b 中，本文遮盖错误单词并插入空格，构造消息 p ^ m \hat{\mathbf{p}}{\mathrm{m}} p^m，将其输入掩码语言模型（Masked Language Model，MLM）进行掩码预测。CL-SEC 完成后，以纠错结果替换 p ^ m \hat{\mathbf{p}}{\mathrm{m}} p^m 中的遮盖词，得到 p ^ c l \hat{\mathbf{p}}_{\mathrm{cl}} p^cl。最后依据上下文恢复其标点（第 3.7 节），生成最终消息恢复结果 p ^ \hat{\mathbf{p}} p^。

3.3 错误检测与纠错候选词

HD 单词估计 { w ^ h d , n } n ∈ N \{\hat{\mathbf{w}}{\mathrm{hd},n}\}{n\in\mathcal{N}} {w^hd,n}n∈N 可能包含受损字母，从而形成错误单词。令 W \mathcal{W} W 表示从 LM 分词器取得的词表（the vocabulary set acquired from the tokenizer of an LM），基数为 S = ∣ W ∣ S=|\mathcal{W}| S=∣W∣。LM 的详细设置见第 3.5 节。对每个 n ∈ N n\in\mathcal{N} n∈N，若 w ^ h d , n ∈ W \hat{\mathbf{w}}{\mathrm{hd},n}\in\mathcal{W} w^hd,n∈W，则认为该词正确；否则将其判定为错误并予以纠正。定义错误单词索引集（Define the index set of erroneous words as） N e ≜ { n ∣ w ^ h d , n ∉ W } ⊆ N \mathcal{N}{\mathrm{e}}\triangleq\{n\mid\hat{\mathbf{w}}_{\mathrm{hd},n}\notin\mathcal{W}\}\subseteq\mathcal{N} Ne≜{n∣w^hd,n∈/W}⊆N。

CL-SEC 同时利用物理层与应用层信息纠正 HD 后的错误单词。借助词长元数据，对每个 n ∈ N e n\in\mathcal{N}_{\mathrm{e}} n∈Ne，构造候选纠错集 W n ⊂ W \mathcal{W}_n\subset\mathcal{W} Wn⊂W，其中包含 W \mathcal{W} W 中全部长度为 L n L_n Ln 的单词，其基数为 S n = ∣ W n ∣ S_n=|\mathcal{W}_n| Sn=∣Wn∣。从 W n \mathcal{W}_n Wn 中选择概率最高的候选词替换错误单词。² 候选词概率分布的计算见第 3.4--3.6 节。

² 用于单词错误检测的词表可以不同于用于单词纠错的词表。基于 LM 的纠错依赖 LM 词表，但可使用或构建更大的、未必来自 LM 的词表，以提高错误检测准确率。

3.4 单词级物理层概率分布

本节介绍 CL-SEC 使用的单词级物理层概率分布。对每个候选词 w ~ n , s ∈ W n \tilde{\mathbf{w}}{n,s}\in\mathcal{W}n w~n,s∈Wn（ s ∈ S n ≜ { 1 , ... , S n } s\in\mathcal{S}n\triangleq\{1,\ldots,S_n\} s∈Sn≜{1,...,Sn}），将其转换为 ASCII 比特表示 u ~ n , s = ( u ~ n , s , 1 , ... , u ~ n , s , K n ) ∈ F 2 K n \tilde{\mathbf{u}}{n,s}=(\tilde u{n,s,1},\ldots,\tilde u{n,s,K_n})\in\mathbb{F}_2^{K_n} u~n,s=(u~n,s,1,...,u~n,s,Kn)∈F2Kn，其中 K n K_n Kn 为单词 w n \mathbf{w}n wn 内的源比特数。定义 K ~ n = ∑ j = 1 n − 1 K j \tilde K_n=\sum{j=1}^{n-1}K_j K~n=∑j=1n−1Kj 为 w n \mathbf{w}_n wn 之前的总比特数，并定义序列

c ^ n ≜ ( c ^ K ~ n / R + 1 , ... , c ^ ( K ~ n + 1 + ν ) / R ) , (3) \hat{\mathbf{c}}n\triangleq\left(\hat c{\tilde K_n/R+1},\ldots,\hat c_{(\tilde K_{n+1}+\nu)/R}\right), \tag{3} c^n≜(c^K~n/R+1,...,c^(K~n+1+ν)/R),(3)

其长度为 ( K n + ν ) / R (K_n+\nu)/R (Kn+ν)/R。编码比特序列 c ^ n \hat{\mathbf{c}}_n c^n 决定单词 w n \mathbf{w}_n wn 的物理层判决。

注释：

c ^ n \hat{\mathbf{c}}_n c^n。 这里的 c c c 可理解为 coded bits / codeword，表示信道编码后的编码比特；帽号表示接收端根据解调和逆交织得到的估计值。

下标 n n n。 c ^ n \hat{\mathbf{c}}_n c^n 是从整段 c ^ \hat{\mathbf{c}} c^ 中截出的、与第 n n n 个单词相关的编码比特片段。由于卷积码有记忆长度 ν \nu ν，该片段除了包含该词自身 K n K_n Kn 个源比特对应的编码比特外，还包含受后续 ν \nu ν 个输入比特影响的部分，因此长度为 ( K n + ν ) / R (K_n+\nu)/R (Kn+ν)/R。

候选词 w ~ n , s \tilde{\mathbf{w}}_{n,s} w~n,s 的物理层后验概率为

P ( w ~ n , s ∣ c ^ n ) = ∏ k = 1 K n P ⁣ ( u K ~ n + k = u ~ n , s , k ∣ c ^ b i t , K ~ n + k ) , n ∈ N e , s ∈ S n . (4) P(\tilde{\mathbf{w}}{n,s}\mid\hat{\mathbf{c}}n)=\prod{k=1}^{K_n}P\!\left(u{\tilde K_n+k}=\tilde u_{n,s,k}\mid\hat{\mathbf{c}}{\mathrm{bit},\tilde K_n+k}\right),\quad n\in\mathcal{N}{\mathrm{e}},\ s\in\mathcal{S}_n. \tag{4} P(w~n,s∣c^n)=k=1∏KnP(uK~n+k=u~n,s,k∣c^bit,K~n+k),n∈Ne, s∈Sn.(4)

这里的 k k k 遍历与单词 w n \mathbf{w}n wn 对应的各个比特。与第 3.1 节用于比特判决的经典比特级信道译码不同，式 (4) 被称为单词级信道译码： 它利用经典软信道译码产生的 LLR，专门确定用于单词判决的后验概率 P ( w ~ n , s ∣ c ^ n ) P(\tilde{\mathbf{w}}{n,s}\mid\hat{\mathbf{c}}n) P(w~n,s∣c^n)。相应地，式 (4) 使用的 λ K ~ n + 1 , ... , λ K ~ n + 1 \lambda{\tilde K_n+1},\ldots,\lambda_{\tilde K_{n+1}} λK~n+1,...,λK~n+1 称为单词级 LLR（Word-Level LLR，WL-LLR）。汇集全部 S n S_n Sn 个候选词的概率，得到 w n \mathbf{w}n wn 的单词级物理层分布 d p h , n ( c ^ n ) ∝ ( P ( w ~ n , 1 ∣ c ^ n ) , ... , P ( w ~ n , S n ∣ c ^ n ) ) \mathbf{d}{\mathrm{ph},n}(\hat{\mathbf{c}}n)\propto(P(\tilde{\mathbf{w}}{n,1}\mid\hat{\mathbf{c}}n),\ldots,P(\tilde{\mathbf{w}}{n,S_n}\mid\hat{\mathbf{c}}_n)) dph,n(c^n)∝(P(w~n,1∣c^n),...,P(w~n,Sn∣c^n))。³

简单 WL-LLR 基准方案： 在讨论 CL-SEC 的应用层概率分布前，先给出一个只基于 WL-LLR 的简单纠错方案，作为 CL-SEC 的基准之一，性能比较见第 4 节。该方案仅用分布 d p h , n ( c ^ n ) \mathbf{d}_{\mathrm{ph},n}(\hat{\mathbf{c}}_n) dph,n(c^n) 确定长度为 L n L_n Ln 的最可能单词，以改进 FEC 后结果：

w ^ p h , n = arg ⁡ max ⁡ w ~ n , s ∈ W n P ( w ~ n , s ∣ c ^ n ) , n ∈ N e . (5) \hat{\mathbf{w}}{\mathrm{ph},n}=\arg\max{\tilde{\mathbf{w}}_{n,s}\in\mathcal{W}n}P(\tilde{\mathbf{w}}{n,s}\mid\hat{\mathbf{c}}n),\quad n\in\mathcal{N}{\mathrm{e}}. \tag{5} w^ph,n=argw~n,s∈WnmaxP(w~n,s∣c^n),n∈Ne.(5)

与基于比特级 LLR 的 FEC 不同，WL-LLR 方案在单词层面运行。它使用 LM 词表施加单词级约束，但不利用 LM 根据周围单词推断目标词似然的能力。⁴

³ 为保证数值稳定，实际实现中应使用正常数对概率进行归一化；其他概率分布亦同。

⁴ 与前述错误检测类似，WL-LLR 也可使用不一定来自 LM 的任意词表确定替换词。

3.5 应用层概率分布

MLM 的近期进展使系统能够利用预训练模型捕获的应用层语义上下文纠正错误单词，例如 BART $5$ 和 mmBERT $7$ 。MLM 预训练时随机遮盖一部分输入 token，模型学习根据周围语义上下文推断被遮盖的 token；这是一种在人类交流中也存在的组合式填空能力。例如，输入 "There is a beach with palm $MASK$ and clear blue water." 时，预训练 MLM 可能预测缺词为 "trees"。

注：

MLM（Masked Language Model，掩码语言模型）。 它把句子中的部分 token 替换为 [MASK]，再根据前后文推测被遮盖的内容。例如，在 "There is a beach with palm $MASK$ and clear blue water." 中，palm 意为"棕榈"，MLM 可根据上下文预测 [MASK] 为 trees，从而得到 palm trees（棕榈树）。

输出是候选词概率分布。 MLM 通常不只给出一个答案，而是对词表中的候选词赋予概率，例如 P ( t r e e s ) = 0.80 P(\mathrm{trees})=0.80 P(trees)=0.80、 P ( l e a v e s ) = 0.12 P(\mathrm{leaves})=0.12 P(leaves)=0.12、 P ( s a n d ) = 0.03 P(\mathrm{sand})=0.03 P(sand)=0.03（数值仅为说明）。在 CL-SEC 中，检测到的错误单词会被替换为 [MASK]，MLM 产生的应用层语义概率再与物理层 LLR 提供的比特证据结合，以选择最终纠错词。

在 HD 输出 s ^ h d \hat{\mathbf{s}}{\mathrm{hd}} s^hd 中，对每个 n ∈ N e n\in\mathcal{N}{\mathrm{e}} n∈Ne，将第 n n n 个错误单词替换为掩码 token（如 [MASK]），并依据词长元数据在单词之间插入空格，以帮助 MLM 理解语义。⁵ 由此得到带掩码和空格的消息 p ^ m \hat{\mathbf{p}}_{\mathrm{m}} p^m。MLM 分词器（the tokenizer of an MLM）将其转换为 token 索引序列

t ^ = f t o k ( p ^ m ) = ( t ^ 1 , ... , t ^ I ) , (6) \hat{\mathbf{t}}=f_{\mathrm{tok}}(\hat{\mathbf{p}}_{\mathrm{m}})=(\hat t_1,\ldots,\hat t_I), \tag{6} t^=ftok(p^m)=(t^1,...,t^I),(6)

其中， t ^ i \hat t_i t^i 是位置 i i i 处 token 的词表索引（token ID）， t ^ i ∈ { 1 , ... , S } \hat t_i\in\{1,\ldots,S\} t^i∈{1,...,S}， i = 1 , ... , I i=1,\ldots,I i=1,...,I，且 S = ∣ W ∣ S=|\mathcal{W}| S=∣W∣。每个 token 被映射为携带语义信息的高维嵌入。MLM 在 token 位置 i i i 处基于嵌入输出整个词表上的后验分布，记为 P ( t i ′ ∣ ξ ^ i , M L M ) P(t_i'\mid\hat{\boldsymbol{\xi}}_i,\mathrm{MLM}) P(ti′∣ξ^i,MLM)，其中 t i ′ ∈ { 1 , ... , S } t_i'\in\{1,\ldots,S\} ti′∈{1,...,S} 是潜在输出 token ID， ξ ^ i \hat{\boldsymbol{\xi}}_i ξ^i 表示 t ^ i \hat t_i t^i 周围的上下文，"MLM"表示给定特定 MLM。

注：

符号与整体含义。 i ∈ { 1 , ... , I } i\in\{1,\ldots,I\} i∈{1,...,I} 是 token 位置， I I I 是分词后的 token 数； t ^ i \hat t_i t^i 是该位置的输入 token ID（掩码位置通常为 [MASK]）， t i ′ ∈ { 1 , ... , S } t_i'\in\{1,\ldots,S\} ti′∈{1,...,S} 是词表中待考察的候选输出 ID， S = ∣ W ∣ S=|\mathcal W| S=∣W∣； ξ ^ i \hat{\boldsymbol{\xi}}_i ξ^i 表示周围上下文。因此， P ( t i ′ ∣ ξ ^ i , M L M ) P(t_i'\mid\hat{\boldsymbol{\xi}}_i,\mathrm{MLM}) P(ti′∣ξ^i,MLM) 表示给定上下文和具体 MLM 时，候选 t i ′ t_i' ti′ 填入位置 i i i 的概率。

嵌入与词表分布。 嵌入表可写为矩阵 E ∈ R S × d \mathbf E\in\mathbb R^{S\times d} E∈RS×d，每一行对应一个 token；模型根据 token ID 直接查表得到初始向量 e i = E $t \^ i$ \mathbf e_i=\mathbf E $\\hat t_i$ ei=E $t\^i$ 。表中数值在训练时学习和更新，在推理时通常固定。Transformer 再融合整个序列的嵌入，得到位置 i i i 随上下文变化的语义表示，并据此为词表中的全部 S S S 个候选输出概率，且概率之和为 1。例如在 palm [MASK] 中，trees、leaves 等候选各有不同概率。

在 CL-SEC 中的用途。 BART 与 mmBERT 对同一上下文可能给出不同分布。CL-SEC 从中提取满足词长约束的候选集 W n \mathcal W_n Wn 的概率，形成应用层语义分布，再与物理层 LLR 的比特证据结合以确定纠错词。

由于每个错误单词均用掩码 token 遮盖，本文定位这些掩码并提取相应 MLM 输出。对每个掩码词位置 n ∈ N e n\in\mathcal{N}{\mathrm{e}} n∈Ne，从 MLM 在完整词表 W \mathcal{W} W 上的输出中提取候选词 w ~ n , s ∈ W n \tilde{\mathbf{w}}{n,s}\in\mathcal{W}n w~n,s∈Wn 的概率，得到 P ( w ~ n , s ∣ ξ ^ n , M L M ) P(\tilde{\mathbf{w}}{n,s}\mid\hat{\boldsymbol{\xi}}_n,\mathrm{MLM}) P(w~n,s∣ξ^n,MLM)（ s ∈ S n s\in\mathcal{S}n s∈Sn）。汇集这些概率，可得候选纠错词的应用层分布（the application-layer distribution） d a p , n ( ξ ^ n , M L M ) ∝ ( P ( w ~ n , 1 ∣ ξ ^ n , M L M ) , ... , P ( w ~ n , S n ∣ ξ ^ n , M L M ) ) \mathbf{d}{\mathrm{ap},n}(\hat{\boldsymbol{\xi}}n,\mathrm{MLM})\propto(P(\tilde{\mathbf{w}}{n,1}\mid\hat{\boldsymbol{\xi}}n,\mathrm{MLM}),\ldots,P(\tilde{\mathbf{w}}{n,S_n}\mid\hat{\boldsymbol{\xi}}_n,\mathrm{MLM})) dap,n(ξ^n,MLM)∝(P(w~n,1∣ξ^n,MLM),...,P(w~n,Sn∣ξ^n,MLM))。

注：

定位掩码。 n ∈ N e n\in\mathcal N_{\mathrm e} n∈Ne 表示第 n n n 个单词已被判为错误并替换成 [MASK]。MLM 会在这个掩码的 token 位置输出完整词表 W \mathcal W W 上的概率； ξ ^ n \hat{\boldsymbol\xi}_n ξ^n 表示预测该掩码时利用的周围语义上下文。这里用单词位置 n n n 标记相应掩码，而上一段的 i i i 是它在分词后序列中的 token 位置。

候选集及其符号。 已知原单词长度 L n L_n Ln 后，从完整词表 W \mathcal W W 中筛出全部等长候选，组成 W n = { w ~ n , 1 , ... , w ~ n , S n } \mathcal W_n=\{\tilde{\mathbf w}{n,1},\ldots,\tilde{\mathbf w}{n,S_n}\} Wn={w~n,1,...,w~n,Sn}。其中， S n = ∣ W n ∣ S_n=|\mathcal W_n| Sn=∣Wn∣ 是候选数， S n = { 1 , ... , S n } \mathcal S_n=\{1,\ldots,S_n\} Sn={1,...,Sn} 是候选编号集合， w ~ n , s \tilde{\mathbf w}_{n,s} w~n,s 是第 n n n 个错误位置的第 s s s 个候选词。

从完整输出中提取概率。 MLM 原本为 W \mathcal W W 中的所有 token 分配概率，但 CL-SEC 只读取 W n \mathcal W_n Wn 中各候选词的 P ( w ~ n , s ∣ ξ ^ n , M L M ) P(\tilde{\mathbf w}_{n,s}\mid\hat{\boldsymbol\xi}n,\mathrm{MLM}) P(w~n,s∣ξ^n,MLM)，并按候选编号排列成 d a p , n \mathbf d{\mathrm{ap},n} dap,n。例如，若五字母候选集为 { t r e e s , w a v e s , w a t e r } \{\mathrm{trees},\mathrm{waves},\mathrm{water}\} {trees,waves,water}，提取出的概率为 ( 0.40 , 0.10 , 0.05 ) (0.40,0.10,0.05) (0.40,0.10,0.05)，该向量就表达 MLM 单独依据语义上下文对三个候选的偏好。

为何使用 ∝ \propto ∝。 被提取的候选只是完整词表的一部分，其概率之和可能不是 1；例如 0.40 + 0.10 + 0.05 = 0.55 0.40+0.10+0.05=0.55 0.40+0.10+0.05=0.55。因此 d a p , n \mathbf d_{\mathrm{ap},n} dap,n 与这些概率成正比，归一化后为 ( 0.40 , 0.10 , 0.05 ) / 0.55 ≈ ( 0.727 , 0.182 , 0.091 ) (0.40,0.10,0.05)/0.55\approx(0.727,0.182,0.091) (0.40,0.10,0.05)/0.55≈(0.727,0.182,0.091)。这个应用层语义分布随后会与物理层 LLR 构造的分布结合，而不是单独决定最终纠错词。

⁵ 此阶段的单词仍可能严重受损，标点恢复较困难。所幸即使输入中没有标点，MLM 仍能有效预测，仿真见第 4 节。本文在单词得到准确纠正后再依据上下文恢复标点（第 3.7 节）。

图 3：CL-SEC 的因子图， n ∈ N e n\in\mathcal{N}_{\mathrm{e}} n∈Ne。空心圆表示变量节点，实心方块表示函数节点。

独立 SEC（简单 MLM）基准方案： 独立 SEC 可按是否提供词长信息分成两类。没有该信息时（如图 1 第四个框），纠错结果可能具有错误词长（如图 1 中的 "signals"）。为公平比较，本文考虑带词长信息的改进型独立 SEC。该简单 MLM 方案只依据 d a p , n ( ξ ^ n , M L M ) \mathbf{d}_{\mathrm{ap},n}(\hat{\boldsymbol{\xi}}_n,\mathrm{MLM}) dap,n(ξ^n,MLM) 纠正 FEC 后的结果：

w ^ a p , n = arg ⁡ max ⁡ w ~ n , s ∈ W n P ( w ~ n , s ∣ ξ ^ n , M L M ) , n ∈ N e . (7) \hat{\mathbf{w}}{\mathrm{ap},n}=\arg\max{\tilde{\mathbf{w}}_{n,s}\in\mathcal{W}n}P(\tilde{\mathbf{w}}{n,s}\mid\hat{\boldsymbol{\xi}}n,\mathrm{MLM}),\quad n\in\mathcal{N}{\mathrm{e}}. \tag{7} w^ap,n=argw~n,s∈WnmaxP(w~n,s∣ξ^n,MLM),n∈Ne.(7)

注：

方案流程。 接收端先通过 BCJR/FEC 得到硬判决文本 s ^ h d = ( w ^ h d , 1 , ... , w ^ h d , N ) \hat{\mathbf s}{\mathrm{hd}}=(\hat{\mathbf w}{\mathrm{hd},1},\ldots,\hat{\mathbf w}_{\mathrm{hd},N}) s^hd=(w^hd,1,...,w^hd,N)，把不在词表 W \mathcal W W 中的错误词替换为 [MASK]，再让 MLM 根据周围上下文 ξ ^ n \hat{\boldsymbol\xi}_n ξ^n 为替换词打分。流程可概括为"FEC 硬判决文本 → \rightarrow → 检测错误词 → \rightarrow → [MASK] → \rightarrow → MLM 预测 → \rightarrow → 选择替换词"。

例如，FEC 后可能得到 Communication systens must be reliable.，其中 systens 是物理层完成初步纠错后仍然残留的错误词。独立 SEC 将它改为 [MASK]，得到 Communication [MASK] must be reliable.，并只利用这段硬判决文本的上下文继续纠错，不再读取 BCJR 输出的逐比特软 LLR。

词长约束。 发送端在帧头中提供原词长度 L n L_n Ln，因此系统只考虑 W n = { w ∈ W : length ⁡ ( w ) = L n } \mathcal W_n=\{w\in\mathcal W:\operatorname{length}(w)=L_n\} Wn={w∈W:length(w)=Ln} 中的候选词。假设第 n n n 个原词长度为 L n = 8 L_n=8 Ln=8：

messages 有 8 个字母，可以进入 W n \mathcal W_n Wn；

signals 有 7 个字母，即使 MLM 给出的语义概率较高也会被排除；

systems 同样只有 7 个字母，也会被排除。

不提供词长的普通独立 SEC 可能输出 signals 这类长度错误但语义合理的词。本文给简单 MLM 基准提供词长，是为了使它与同样使用词长信息的 CL-SEC 公平比较。

式 (7) 的含义。 n ∈ N e n\in\mathcal N_{\mathrm e} n∈Ne 表示第 n n n 个单词被判为错误， w ~ n , s ∈ W n \tilde{\mathbf w}{n,s}\in\mathcal W_n w~n,s∈Wn 是它的第 s s s 个等长候选词， P ( w ~ n , s ∣ ξ ^ n , M L M ) P(\tilde{\mathbf w}{n,s}\mid\hat{\boldsymbol\xi}n,\mathrm{MLM}) P(w~n,s∣ξ^n,MLM) 是 MLM 根据上下文给出的应用层概率。 arg ⁡ max ⁡ \arg\max argmax 表示在全部等长候选中找出概率最大者，并将其记为应用层估计 w ^ a p , n \hat{\mathbf w}{\mathrm{ap},n} w^ap,n。

为何称为"独立"SEC。 该方案只使用 FEC 最终输出的硬文本、词长和 MLM 语义概率；它不再利用 BCJR 产生的逐比特软 LLR。因此，遇到多个语义上都合理的等长候选时，它无法判断哪个候选的二进制形式更符合接收信号。CL-SEC 则进一步把这里的应用层分布 d a p , n \mathbf d_{\mathrm{ap},n} dap,n 与 LLR 构造的物理层分布 d p h , n \mathbf d_{\mathrm{ph},n} dph,n 结合。

与 WL-LLR 一样，该 MLM 方案通过 LM 词表施加单词级约束；不同之处是它还利用模型的语义预测能力。

注：

共同点：候选集相同。 WL-LLR 和简单 MLM 都先利用词长元数据与 LM 词表构造同一个候选集合 W n = { w ∈ W : length ⁡ ( w ) = L n } \mathcal W_n=\{w\in\mathcal W:\operatorname{length}(w)=L_n\} Wn={w∈W:length(w)=Ln}，因此二者都只会在"词表内且长度正确"的候选词中选择，而不是在任意比特串或任意长度的单词中选择。

WL-LLR：只看物理层信息。 该方案选择

w ^ p h , n = arg ⁡ max ⁡ w ~ n , s ∈ W n P ( w ~ n , s ∣ c ^ n ) . \hat{\mathbf{w}}{\mathrm{ph},n}=\arg\max{\tilde{\mathbf{w}}{n,s}\in\mathcal W_n} P(\tilde{\mathbf{w}}{n,s}\mid \hat{\mathbf{c}}_n). w^ph,n=argw~n,s∈WnmaxP(w~n,s∣c^n).

它根据接收到的编码比特和 LLR 判断哪个候选词的二进制形式最符合信道证据，但不理解上下文。

MLM：只看应用层语义上下文。 该方案选择

w ^ a p , n = arg ⁡ max ⁡ w ~ n , s ∈ W n P ( w ~ n , s ∣ ξ ^ n , M L M ) . \hat{\mathbf{w}}{\mathrm{ap},n}=\arg\max{\tilde{\mathbf{w}}{n,s}\in\mathcal W_n} P(\tilde{\mathbf{w}}{n,s}\mid \hat{\boldsymbol{\xi}}_n,\mathrm{MLM}). w^ap,n=argw~n,s∈WnmaxP(w~n,s∣ξ^n,MLM).

它把错误词替换成 [MASK]，让语言模型根据前后文判断哪个候选词最合理；但它不看 LLR，也不知道哪个候选词的比特形式更接近接收信号。

3.6 跨层单词纠错

对每个错误单词 n ∈ N e n\in\mathcal{N}{\mathrm{e}} n∈Ne，第 3.4 和 3.5 节分别给出了由 LLR 构造的物理层分布 d p h , n ( c ^ n ) \mathbf{d}{\mathrm{ph},n}(\hat{\mathbf{c}}n) dph,n(c^n)，以及 MLM 评估的应用层分布 d a p , n ( ξ ^ n , M L M ) \mathbf{d}{\mathrm{ap},n}(\hat{\boldsymbol{\xi}}_n,\mathrm{MLM}) dap,n(ξ^n,MLM)。下面分析二者的依赖关系，并通过贝叶斯组合确定跨层后验分布，从而利用双层信息共同完成跨层单词纠错。

本文借助因子图与置信传播（Belief Propagation，BP）原理论证 CL-SEC 中采用的贝叶斯组合。这里并非要按照 BP 构造给出严格的数学推导，因为 MLM 从周围上下文推断掩码词的过程并不采用典型 BP 算法的同一组方程。不过二者概念相似：掩码词均根据从周围单词获得的"置信"进行推断。

图 3 给出了 CL-SEC 因子图。其关键在于，对每个错误单词 n ∈ N e n\in\mathcal{N}_{\mathrm{e}} n∈Ne，单词级信道译码和 MLM 掩码预测使用的两个信息源 c ^ n \hat{\mathbf{c}}_n c^n 与 ξ ^ n \hat{\boldsymbol{\xi}}n ξ^n 之间只有弱依赖。具体而言，条件分布 d p h , n ( c ^ n ) \mathbf{d}{\mathrm{ph},n}(\hat{\mathbf{c}}n) dph,n(c^n) 与 d a p , n ( ξ ^ n , M L M ) \mathbf{d}{\mathrm{ap},n}(\hat{\boldsymbol{\xi}}_n,\mathrm{MLM}) dap,n(ξ^n,MLM) 可近似视为独立，即它们的置信近似来自独立信息源，因此可按乘积形式进行贝叶斯组合。⁶

由式 (3)， c ^ n \hat{\mathbf{c}}n c^n 包含编码比特 c ^ K ~ n / R + 1 , ... , c ^ ( K ~ n + 1 + ν ) / R \hat c{\tilde K_n/R+1},\ldots,\hat c_{(\tilde K_{n+1}+\nu)/R} c^K~n/R+1,...,c^(K~n+1+ν)/R，与掩码词内部的源比特有关。 ξ ^ n \hat{\boldsymbol{\xi}}_n ξ^n 则源自掩码周围的全部单词，对应于掩码之前和之后的两部分编码比特。两者只有极少量信息被重复使用：左边界与右边界共 2 ν / R 2\nu/R 2ν/R 个比特。 c ^ n \hat{\mathbf{c}}_n c^n 通常包含许多与掩码词字符有关的比特，这些边界比特只占很小一部分；对于应用层分布中的 ξ ^ n \hat{\boldsymbol{\xi}}_n ξ^n， c ^ n \hat{\mathbf{c}}_n c^n 中的非边界比特不参与构造上下文，而边界比特贡献也很小，因为上下文主要来自掩码词之外的其他单词。以仿真使用的 ν = 2 \nu=2 ν=2、 R = 1 / 2 R=1/2 R=1/2 为例，只有 2 ν / R = 8 2\nu/R=8 2ν/R=8 个边界编码比特（等价于半个源字符）被重复利用。

弱依赖性来自两个原因：第一，LM 的注意跨度远大于卷积码约束长度；第二，错误单词内部的信息已经用于物理层单词级信道译码，因此在 MLM 中刻意用掩码替换这些信息，以尽量减少重复使用。

据此，可将图 3 的因子图近似为无环图，无需迭代即可直接计算 w n \mathbf{w}_n wn 的精确边缘分布。依照置信更新规则 $4$ ，跨层边缘概率为

P ( w ~ n , s ∣ c ^ n , ξ ^ n , M L M ) ∝ P ( w ~ n , s ∣ c ^ n ) ⋅ P ( w ~ n , s ∣ ξ ^ n , M L M ) , s ∈ S n . (8) P(\tilde{\mathbf{w}}_{n,s}\mid\hat{\mathbf{c}}_n,\hat{\boldsymbol{\xi}}n,\mathrm{MLM}) \propto P(\tilde{\mathbf{w}}{n,s}\mid\hat{\mathbf{c}}n)\cdot P(\tilde{\mathbf{w}}{n,s}\mid\hat{\boldsymbol{\xi}}_n,\mathrm{MLM}),\quad s\in\mathcal{S}_n. \tag{8} P(w~n,s∣c^n,ξ^n,MLM)∝P(w~n,s∣c^n)⋅P(w~n,s∣ξ^n,MLM),s∈Sn.(8)

即边缘概率是从两个函数节点向下流入的两项置信之积。式 (8) 通过乘积形式的贝叶斯组合，由两个单层后验概率得到跨层后验概率。附录 A 进一步从详细概率推导的角度说明这种乘积形式。

汇集每个掩码对应的 S n S_n Sn 个候选词概率，可构造跨层后验分布 d c l , n ( c ^ n , ξ ^ n , M L M ) ∝ d p h , n ( c ^ n ) ⊙ d a p , n ( ξ ^ n , M L M ) \mathbf{d}_{\mathrm{cl},n}(\hat{\mathbf{c}}_n,\hat{\boldsymbol{\xi}}n,\mathrm{MLM})\propto\mathbf{d}{\mathrm{ph},n}(\hat{\mathbf{c}}n)\odot\mathbf{d}{\mathrm{ap},n}(\hat{\boldsymbol{\xi}}_n,\mathrm{MLM}) dcl,n(c^n,ξ^n,MLM)∝dph,n(c^n)⊙dap,n(ξ^n,MLM)，其中 ⊙ \odot ⊙ 表示 Hadamard 逐元素积。CL-SEC 的译码结果由该分布中的最大跨层后验概率确定：

w ^ c l , n = arg ⁡ max ⁡ w ~ n , s ∈ W n P ( w ~ n , s ∣ c ^ n , ξ ^ n , M L M ) , n ∈ N e . (9) \hat{\mathbf{w}}{\mathrm{cl},n}=\arg\max{\tilde{\mathbf{w}}_{n,s}\in\mathcal{W}n}P(\tilde{\mathbf{w}}{n,s}\mid\hat{\mathbf{c}}_n,\hat{\boldsymbol{\xi}}n,\mathrm{MLM}),\quad n\in\mathcal{N}{\mathrm{e}}. \tag{9} w^cl,n=argw~n,s∈WnmaxP(w~n,s∣c^n,ξ^n,MLM),n∈Ne.(9)

CL-SEC 通过 LM 词表和词长元数据施加单词级语言约束。词表中可能包含同一单词的小写、大写和首字母大写等多个版本。CL-SEC 联合物理层和应用层信息，从词表中确定最合适的替换词，以原样恢复传输消息。用 { w ^ c l , n } n ∈ N e \{\hat{\mathbf{w}}{\mathrm{cl},n}\}{n\in\mathcal{N}{\mathrm{e}}} {w^cl,n}n∈Ne 依次替换 p ^ m \hat{\mathbf{p}}{\mathrm{m}} p^m 中的各个掩码，得到消息估计 p ^ c l \hat{\mathbf{p}}_{\mathrm{cl}} p^cl。

⁶ 经典 BP 即使在因子图存在环、被组合置信来自相关源时，也采用乘积形式的贝叶斯组合。尽管如此，这种乘积近似在 LDPC 译码等许多问题中都十分有效。

3.7 标点恢复

与原始消息 p \mathbf{p} p 相比，估计消息 p ^ c l \hat{\mathbf{p}}_{\mathrm{cl}} p^cl 缺少标点，降低了语义保真度与可读性。为此，本文提示 Qwen3 $15$ 根据上下文线索与语法约束，为 CL-SEC 输出恢复标点，如图 4 所示，最终得到消息估计 p ^ \hat{\mathbf{p}} p^。

图 4：标点恢复的提示词、示例输入和示例输出。

算法 1：CL-SEC 框架。 初步 FEC 之后，步骤 4 与步骤 5 可并行执行，以获得双层概率分布；随后直接对这些互补分布进行贝叶斯组合以改进 FEC 后结果，无需任何中间纠错步骤。

表 1：50 个段落语料库的统计信息。

4 仿真结果

4.1 实验设置

模型： 在掩码词预测实验中，本文采用两个预训练模型 BART $5$ 和 mmBERT $7$ ，并分别评估其纠错性能。BART 是经典 MLM，而 mmBERT 是当前先进的 MLM。分别从 BART 与 mmBERT 的分词器得到词表 W B A R T \mathcal{W}{\mathrm{BART}} WBART 和 W m m B E R T \mathcal{W}{\mathrm{mmBERT}} WmmBERT；后者大于前者。本文分别使用这两个词表进行单词纠错，并通过提示工程使用 Qwen3-8B $15$ 恢复标点。为降低时延，关闭 Qwen3 的推理模式。

数据集： 使用英语教材中的 50 个段落⁷作为原始消息，评估 CL-SEC 及各基准方法。由于后述 FEC 改进方法依赖词表纠错，本文预处理这些段落，确保所有单词同时包含于 W B A R T \mathcal{W}{\mathrm{BART}} WBART 和 W m m B E R T \mathcal{W}{\mathrm{mmBERT}} WmmBERT。表 1 给出 50 个段落的统计信息。在不同信噪比（Signal-to-Noise Ratio，SNR）下模拟每个段落的传输；对每个段落、每个 SNR 使用随机噪声重复 10 次蒙特卡洛试验，因此每个测试 SNR 下得到 500 个接收受损段落，以保证统计显著性。

⁷ 数据公开于：https://github.com/Yirun719/CL-SEC。

系统设置： 采用记忆长度 ν = 2 \nu=2 ν=2、码率 R = 1 / 2 R=1/2 R=1/2 的卷积码，以基于 MAP 的 BCJR 译码器 $1, 14$ 产生软 LLR。使用随机交织器置换比特序列，并采用正交相移键控（Quadrature Phase-Shift Keying，QPSK）。定义 S N R = A 2 / σ 2 \mathrm{SNR}=A^2/\sigma^2 SNR=A2/σ2，其中 A 2 = E $∣ x q ∣ 2$ A^2=\mathbb{E} $\|x_q\|\^2$ A2=E $∣xq∣2$ （ q = 1 , ... , Q q=1,\ldots,Q q=1,...,Q）是平均信号功率， σ 2 \sigma^2 σ2 是噪声功率。⁸

评估指标： 第 4.2 节评估误比特率（Bit-Error Rate，BER）和误词率（Word-Error Rate，WER）。计算 WER 时，只有一个单词的全部字母均正确，才将其判为正确。第 4.3 节还使用 BERTScore $16$ 与 ROUGE-L $6$ 研究语义保真度。BERTScore 通过对齐原始消息与恢复消息中的 token 衡量语义相似度；ROUGE-L 依据两条消息的最长公共子序列（Longest Common Subsequence，LCS）量化内容重叠，以衡量语义内容的保留程度。二者均按 $0 , 100$ $0,100$ $0,100$ 区间报告。

所研究的方案： 本文给出并比较以下五类方案：

方案 1：基于 BCJR 的 HD（第 3.1 节）。 在经典 BCJR 译码器产生的比特级软 LLR 上执行比特级 HD（式 (1)、(2)），本质上就是经典信道译码方法，标为"BCJR"。
方案 2：WL-LLR（第 3.4 节）。 使用 W B A R T \mathcal{W}{\mathrm{BART}} WBART 或 W m m B E R T \mathcal{W}{\mathrm{mmBERT}} WmmBERT，由单词级 LLR 获得单词概率（式 (4)），再通过式 (5) 的 HD 纠正 BCJR 结果中的错误单词，不使用应用层 LM 的语义能力。依所用词表标为"WL-LLR ( W B A R T \mathcal{W}{\mathrm{BART}} WBART)"或"WL-LLR ( W m m B E R T \mathcal{W}{\mathrm{mmBERT}} WmmBERT)"。
方案 3：MLM（第 3.5 节）。 分别使用 BART 和 mmBERT，在单词层面对 BCJR 结果执行 MLM 纠错（式 (7)），不使用物理层产生的 LLR，依模型标为"BART"或"mmBERT"。
方案 4：CL-SEC（WL-LLR + MLM，第 3.6 节）。 将方案 2 的 WL-LLR 与方案 3 的 MLM 结合，纠正 BCJR 结果中的错误单词（式 (8)、(9)）。同时考察基于 BART 与 mmBERT 的 CL-SEC，分别标为"CL-SEC (BART)"和"CL-SEC (mmBERT)"。
方案 5：CL-SEC + PR（第 3.7 节）。 在方案 4 的 CL-SEC 结果上进一步用 Qwen3 恢复标点（Punctuation Restoration，PR）。分别报告基于 BART 和 mmBERT 的结果，标为"CL-SEC (BART) + PR"和"CL-SEC (mmBERT) + PR"。

⁸ 本文也评估了 16PSK 调制，发现 QPSK 在某 SNR 下的可靠性性能可由 16PSK 在更高 SNR 下近似达到。受篇幅所限，正文只报告 QPSK 结果。

4.2 BER 与 WER 性能

本节评估传输消息恢复结果的 BER 和 WER。由于 BER 与 WER 计算不考虑标点和空格，本节只评估方案 1--4；方案 5 在第 4.3 节评估全部五种方案的语义保真度时再作考察。计算 BER 时，将方案 2--4 的字符级结果转换为比特级表示。

图 5：随 SNR 变化的性能比较：(a) BER；(b) WER。

图 5(a) 给出 BER 比较，其中包含经典 BCJR 译码方案的 BER。这一纯物理层译码性能是其他方案的重要基准；后者除物理层信号信息外，还在译码过程中注入不同程度的语义理解。由于该基准十分重要，本文验证了实验消息上的 BCJR-HD 方案，其 BER 与 BCJR 处理随机比特时广为人知的 BER $12$ 一致。

本节要强调的核心结论是：加入语义纠错，即采用 CL-SEC，可以显著改善经典 BCJR 的 BER，实现更优的原文级恢复。

考察图 5(a) 可见：第一，基于 mmBERT 的 CL-SEC 通过引入语义上下文，始终优于基于 W m m B E R T \mathcal{W}{\mathrm{mmBERT}} WmmBERT 的 WL-LLR 基准。基于 BART 的 CL-SEC 在高 SNR 下也优于基于 W B A R T \mathcal{W}{\mathrm{BART}} WBART 的 WL-LLR，但在低 SNR（如 0 dB）时略逊于后者。低 SNR 下掩码词数量很多，某个掩码可从周围获得的有效上下文也随大量掩码的存在而减少。当周围上下文较差时，BART 推断掩码词的能力不如 mmBERT。

第二，只使用 BART 或 mmBERT、不使用物理层 LLR 的纯 MLM 纠错，其 BER 比经典 BCJR 译码更差。这并不意外：上下文驱动的 MLM 可能把 BCJR 后的受损单词改成语义相近、但字面上不同于真实值的词。当 BCJR 输出词只有少数字母或比特错误时，MLM 可能换成一个与原词不同的单词，反而引入更多字母级或比特级错误。

第三，两种 WL-LLR 方案在 BER 上始终优于纯 BCJR，说明 BCJR 后的单词级 WL-LLR 纠错有效。基于 W B A R T \mathcal{W}{\mathrm{BART}} WBART 的 WL-LLR 优于使用 W m m B E R T \mathcal{W}{\mathrm{mmBERT}} WmmBERT 的方案。由于本文已确保原始消息中的全部单词同时存在于两个词表，而更大的 W m m B E R T \mathcal{W}_{\mathrm{mmBERT}} WmmBERT 会提供更多原消息之外的纠错候选，因此会削弱纠错过程的集中度。

图 5(b) 给出 WER，整体趋势与图 5(a) 的 BER 一致。CL-SEC 的单词纠错性能优于对应的 WL-LLR 与 MLM。与图 5(a) 的一个关键区别是：MLM 对 BCJR 输出的纠错在单词层面有效，因此纯粹按比特运行的 BCJR 在 WER 上最差。BCJR 难以精确恢复传输单词，留下了大量受损词；借助上下文信息，MLM 能成功修复其中一部分。

4.3 BERTScore 与 ROUGE-L 性能

本节采用 BERTScore 和 ROUGE-L（见第 4.1 节）评估全部五类方案的语义保真度。对每个指标，将带标点和空格的原始消息及其恢复版本输入对应评分函数。对方案 1--4，输入词间有空格但无标点的恢复消息；对方案 5，输入建立在 CL-SEC（方案 4）之上的 PR 结果。⁹

图 6：随 SNR 变化的性能比较：(a) BERTScore；(b) ROUGE-L。

图 6 给出了 BERTScore 与 ROUGE-L 的比较，两项指标的结果一致。第一，通过组合 WL-LLR 与 MLM，CL-SEC 的语义保真度超过单独的对应 WL-LLR 或 MLM。第二，对 CL-SEC 输出应用基于 Qwen3 的 PR，可获得最高语义保真度。第三，WL-LLR 和 MLM 的语义得分均高于原始比特级 BCJR 基准，证明二者在语义层面的纠错均有效。

⁹ 方案 1--4 均未插入标点，比较是公平的；图 6 已体现方案 4 相对于方案 1--3 的优势。对带标点的恢复，本文只报告建立在 CL-SEC 之上的 PR。若对方案 1--3 应用 PR，其残余单词错误会传播至 PR 阶段，因此必然劣于 CL-SEC + PR，增加相应曲线并无太多信息价值。

5 相关工作

LM 的快速进步为纠错技术开辟了新前沿。近期工作 $3$ 提出使用海量材料训练的 LM 执行 SEC。与第 3.5 节的独立 SEC 类似，该方法在应用层充当传统物理层 FEC 的补充纠错机制：先完成物理层信道译码，再识别带掩码和不带掩码的序列。该研究报告称，额外的 LM-SEC 显著提高了语义保真度和误块率（Block-Error Rate，BLER）。¹⁰ ¹¹

类似地，研究 $2$ 在理解层语义通信（Understanding-Level Semantic Communication，ULSC）系统的接收端使用预训练 LM 进行 SEC，显著降低语义损失。工作 $9$ 则研究了 token 域多址接入（Token-Domain Multiple Access，ToDMA）框架，并提出一种 SEC 方法来缓解非正交传输中的 token 冲突。

总体而言，以往独立 SEC 纯粹在应用层运行，只能访问 FEC 之后的应用层信息，忽略了物理层中可用于 FEC 后纠错的丰富信息，例如非常有价值的比特级软 LLR。由于只依赖语义信息这一单一来源，既有独立 SEC 仍属次优，会遭受第 1 节所述的语义不准确和词汇不精确问题。

为克服这些局限，本文同时利用物理层与应用层信息改进 FEC 后的纠错结果。所提出的 CL-SEC 框架以原样恢复传输消息为目标，并借助 LM 的语义和语言能力实现精确重构。

许多语义通信系统的首要目标是保留原始消息的语义含义，而非实现传统通信系统通常追求的原文级恢复。但在协议文件、法律文书、金融合同或科学数据等要求消息完整性的应用中，原文级恢复至关重要，微小改动也可能导致严重误解或错误。本文系统聚焦原文级消息恢复，并利用 LM 的语义理解实现这一目标。

¹⁰ 文献 $3$ 聚焦序列级纠错，而本文考虑单词级纠错，问题设定不一致使直接性能比较较困难。但 $3$ 的独立 SEC 仅依赖 SEC 模型纠错而不使用元数据；在本文框架中，它不如使用词长元数据的改进 MLM，而 CL-SEC 又显著优于改进 MLM，如图 5、6 所示。纯 LM-SEC 方法 $2, 9$ 同样未考虑元数据，因此在本文框架下也逊于 CL-SEC。

¹¹ BLER 是原文级恢复指标：字符块中只要有一个字符错误，整个块就被判错。以往独立 SEC $2, 3, 9$ 只依赖以保持语义含义为目标的 SEC 模型，因此通常在 BLER 等原文级恢复指标上较差。

6 结论与展望

1948 年，Shannon 确定了物理层纠错的基本极限。此后数十年，现代通信系统凭借持续进步逐渐逼近这一极限。然而，研究界提出了一个新问题：能否超越这一上限？LM 的近期突破展现出一种有趣的可能性：生成模型能够分析传输消息固有的语言与逻辑结构，这些结构可作为物理信号之外的附加信息源，用于 SEC。

本文提出 CL-SEC 框架，初步探索把经典物理层纠错------其中语言与语义因素不起作用------同应用层语义纠错------其中比特级软信息不起作用------相结合，以增强通信系统的纠错能力。与以往纯应用层 SEC 不同，CL-SEC 融合物理层软信息和应用层语义上下文，实现传输消息的原样恢复。

对每个检测到的错误单词，CL-SEC 利用词长元数据确定候选纠错词，从而施加单词级语言约束。框架并行构造两种互补的候选词概率分布：1）由逐比特软 LLR 导出的物理层分布，包含信号级证据；2）由 LM 掩码填充得到的应用层分布，捕获语义与组合一致性。随后，以乘积形式对二者进行贝叶斯组合，确定跨层后验概率分布。该乘积形式由 BP 构造与详细概率推导共同论证。

尽管目前尚不清楚来自高层的语言和逻辑因素能否使纠错性能超越 Shannon 极限，但 CL-SEC 与其单层、孤立层基准------尤其是下层译码使用的 BCJR 算法------之间的性能比较，凸显了一种值得关注的可能性。

我们相信，弥合物理层纠错与语义层纠错之间的鸿沟，可能开辟通信理论的全新方向，使语言结构与意义在确保稳健传输中发挥关键作用。未来研究方向包括：

信源压缩： 本文未引入信源压缩；我们认为，若要探索语义纠错超越物理层极限的潜力，信源压缩很可能不可或缺。
理论框架： 本研究主要基于实验与经验。建立严谨理论框架仍是开放挑战，也有望为连接信息论、语言学和语义处理的新型交叉研究奠定基础。本文基于 BP 范式和详细概率推导，对物理层与应用层信息组合给出的分析论证，可作为潜在起点。
词长推断： 本文假设"词长已知"，以约束纠错候选。这要求把词长元数据写入帧头，不仅引入开销，元数据本身也可能被信道噪声破坏。未来可通过推断单词边界，在不依赖显式元数据的情况下以准确词长纠错。
处理时延： 引入 FEC 后的纠错优化，尤其是基于 LM 推理的优化，必然比原始 FEC 增加计算开销和时延，对时延敏感型应用构成挑战。未来工作可着力消除这一瓶颈。
无线衰落信道： 当前评估仅限于 AWGN 信道。AWGN 是基础基准，但实际无线环境往往具有衰落。未来可将框架扩展至衰落信道，以证明纠错的稳健性。

致谢

本工作得到深港澳科技计划项目（编号 SGDX20230821094359004）的部分支持。研究在香港赛马会慈善信托资助的"关键任务自动化与智能先进无线网络"JC STEM 实验室开展。