音视频学习（七十九）：LZW编码

数据压缩

数据压缩是减少数据存储空间和传输带宽的关键技术，按照是否丢失信息分为有损压缩 和无损压缩两种。有损压缩（如JPEG图像、MP3音频、H.264/H.265视频编码）允许一定信息损失，以换取更高的压缩比，常用于多媒体领域，因为人类感官对轻微损失不敏感。无损压缩则确保解压后数据与原始完全相同，适用于文本、程序、可执行文件、科学数据和对精度要求高的场景。

无损压缩的核心原理是消除数据中的统计冗余（如重复模式、频率不均等），常见算法包括：

霍夫曼编码：基于符号频率的变长编码。
算术编码：更高效率的概率编码。
游程编码（RLE）：适合连续重复数据。
字典编码：如LZ系列，包括LZW、LZ77、LZ78等。

LZW（Lempel-Ziv-Welch）算法是一种经典的字典式无损压缩算法，由Abraham Lempel、Jacob Ziv和Terry Welch于1984年提出。它基于动态构建字符串表，将重复出现的长字符串替换为短代码，实现高效压缩。LZW广泛应用于GIF、TIFF、PDF等格式，以及Unix的compress工具。

视频无损压缩

视频数据量巨大，一分钟未压缩高清视频可能超过1GB。视频压缩通常分为有损（如H.264、H.265、AV1）和无损两种。无损视频压缩确保每帧像素完全还原，适用于专业编辑、医疗影像、档案保存等领域，但压缩比远低于有损（通常2-5倍，而有损可达数十倍）。

常见视频无损压缩方法：

帧内压缩：每帧独立压缩，如使用JPEG-LS、PNG变体或FFV1（基于预测和熵编码）。
帧间压缩：利用帧间冗余，如Huffman、LZ系列结合运动补偿。
专用格式：HuffYUV、FFV1、JPEG2000无损模式、AV1无损等。
通用算法应用：如ZIP、LZMA（7-Zip）、LZW等，对原始YUV数据或帧序列进行压缩。

视频数据（尤其是自然视频）帧间变化大、随机噪声多，重复模式较少，因此通用字典算法如LZW压缩效果有限，常导致文件增大（压缩比>1）。实验显示，对YUV视频文件，LZW压缩比可能大于1，而对文本或简单图像则有效。

LZW编码原理详解

LZW是一种自适应字典压缩算法，无需预知数据分布，一遍扫描即可压缩。核心思想：动态构建"字符串表"（字典），用短代码替换长字符串。

基本概念

字典初始化：起始字典包含0-255（单字节字符，ASCII码）。
代码宽度：初始9位（支持512条目），逐步增至12位（4096条目）。
特殊代码（GIF变体）：Clear Code（重置字典）、End Code（结束）。
前缀（Prefix）：当前匹配字符串。
当前字符（Current）：下一个输入字符。

编码过程（压缩）

伪代码：

text 复制代码

初始化字典：0-255为单字符
当前字符串 P = 空
读取第一个字符 C，P = C
While 有输入：
    读取下一个字符 C
    如果 P + C 在字典中：
        P = P + C
    Else：
        输出 P 的代码
        将 P + C 添加到字典（新代码）
        P = C
输出最后 P 的代码

示例：输入 "/WED/WE/WEE/WE/WEA"（GIF经典例）

字典初始：... ' /'=32, 'W'=87, 'E'=69, 'D'=68 等。
过程逐步构建如 "WE" → 256, "ED" → 257 等。
输出代码序列：短于原字符串。

压缩比取决于重复模式多寡。重复越多，字典利用率越高。

解码过程（解压）

解码更巧妙：无需完整字典，边读边建。伪代码：

text 复制代码

初始化字典同编码
读取第一个代码 OLD，输出对应字符串 S，当前 = S
While 有输入：
    读取代码 NEW
    如果 NEW 在字典：
        输出对应字符串 T
    Else：（特殊情况：NEW是刚添加的）
        T = S + S[0]（首字符）
    输出 T
    将 S + T[0] 添加到字典
    S = T

解码能处理"延迟添加"情况，确保同步。

变体与优化

GIF LZW：变长代码（从最小位宽开始），Clear/End代码，重置字典防溢出。
TIFF/PDF：固定或变长，支持早变宽（Early Change）。
改进：位平面切片+自适应Huffman结合LZW，提高图像压缩；硬件FPGA实现，提升速度。

LZW在压缩中的应用

图像：GIF（强制LZW）、TIFF/PDF（可选）、早期Unix compress。
文件归档：ZIP部分变体、旧ARC。
文本/数据：重复高的文本压缩率可达50%。
专利历史：Unisys专利至2003年到期，曾引发争议，导致gzip（DEFLATE）取代。

LZW优点：简单、单遍压缩、无需先验知识、硬件易实现。缺点：字典溢出需重置；对低重复数据无效（文件可能增大）；已被更高效算法（如LZMA、DEFLATE）取代。

LZW在视频无损压缩中的应用与局限

LZW并非视频主流无损算法，主要原因：

视频帧间冗余复杂，LZW擅长帧内重复（如动画GIF），但对自然视频像素变化大，字典匹配效率低。
实验：对YUV原始视频，LZW压缩比常>1（文件增大），而对文本/HTML/WAV有效。
间接应用：可对视频帧序列或原始数据流应用LZW（如早期实验），或结合RLE/Huffman。
现代替代：FFV1（视频专用无损，压缩比高）、JPEG2000无损、AV1无损、LZMA对容器压缩。

在边缘计算或FPGA硬件中，LZW有管道化实现（如三阶段流水线，速度2.5倍提升），适用于实时低功耗场景，但视频仍需专用算法。

LZW与其他无损算法比较

算法	类型	压缩比（典型）	速度	适用场景	视频适用性
Huffman	统计	中等	快	文本、简单数据	低
Arithmetic	统计	高	中	高精度数据	中
RLE	游程	低-中	极快	连续重复（如位图）	中（帧内）
LZW	字典	中等	中	重复字符串多	低
LZ77/LZSS	字典+滑动窗	高	中	通用（ZIP基础）	高（视频基础）
LZMA	LZ77+范围编码	极高	慢	7-Zip	高

结论

LZW作为经典无损字典算法，在图像和文本压缩中发挥重要作用，但视频领域因数据特性限制，压缩效果不佳。现代视频无损压缩倾向专用算法结合预测/变换。