SHA-256 哈希去重

在分布式存储、工业设备数据采集、文件同步与云端备份系统中,基于哈希的去重是一项投入产出比极高的基础技术。它用极小的计算成本,就能大幅削减重复上传带来的带宽浪费与存储冗余。


一、SHA-256

1.1 基本定义

SHA-256 全称为 Secure Hash Algorithm 256-bit ,隶属于 SHA-2 密码学哈希算法家族。

SHA-256能力是:将任意长度的二进制输入,映射为一个固定 256 位(32 字节)的摘要值,通常以 64 个十六进制字符的形式展示。

例如字符串 "abc" 的 SHA-256 结果为:

复制代码
ba7816bf8f01cfea414140de5dae2223b00361a396177a9cb410ff61f20015ad

注意:256 位是摘要的二进制长度,64 字符只是十六进制文本表示,并非 64 字节原始摘要。

1.2 三大特性

SHA-256 的所有工程价值,都建立在这三个特性之上:

特性 含义 在去重中的作用
确定性 相同字节输入,永远得到相同哈希值 跨设备、跨语言生成一致的内容标识
雪崩效应 输入改动极少位数,输出哈希通常发生大幅变化 精准区分内容不同的文件
抗碰撞性 计算上极难找到两个不同输入产生相同哈希 极低概率把不同文件误判为重复

雪崩效应是统计特性,而非数学上的"只要变一位就一定全不同";同时 SHA-256 是单向哈希,不是加密算法------无法从摘要反推原始数据,也不能替代 TLS、数据加密或身份认证。

1.3 碰撞概率

理论上,SHA-256 的输出空间只有 22562^{256}2256 种可能,而输入是无限的,因此碰撞必然存在。但在工程尺度下,这个概率可以忽略:

对于理想哈希函数,随机输入下至少发生一次碰撞的概率近似为:

P(碰撞)≈n(n−1)2257P(\text{碰撞})\approx\frac{n(n-1)}{2^{257}}P(碰撞)≈2257n(n−1)

NIST 给出 SHA-256 的预期抗碰撞强度为 128 位,即通用生日攻击需要约 21282^{128}2128 量级的计算量。

通用生日攻击是基于生日悖论的密码学攻击 ,它不利用哈希算法内部漏洞,仅依靠概率论:在n比特输出的哈希空间中,只需约2n/22^{n/2}2n/2个随机输入,就有较高概率找到两个不同消息拥有相同哈希值,也就是哈希碰撞,常被用来攻击基于哈希的数字签名,这也是哈希算法的碰撞安全强度取输出比特长度一半的原因。

在工业采集、图片上传、文件同步等常规场景中,使用完整 SHA-256 摘要做去重,可靠性完全满足工程要求。它没有数学上的"零碰撞"保证,但发生意外碰撞的概率远低于磁盘损坏、网络出错等常规故障。


二、SHA-256 底层

SHA-256 是通过消息填充 → 分块解析 → 消息调度 → 多轮压缩的流程生成摘要。

2.1 计算流程

#mermaid-svg-WHjPa5fRloqmRRd8{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-WHjPa5fRloqmRRd8 .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-WHjPa5fRloqmRRd8 .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-WHjPa5fRloqmRRd8 .error-icon{fill:#552222;}#mermaid-svg-WHjPa5fRloqmRRd8 .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-WHjPa5fRloqmRRd8 .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-WHjPa5fRloqmRRd8 .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-WHjPa5fRloqmRRd8 .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-WHjPa5fRloqmRRd8 .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-WHjPa5fRloqmRRd8 .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-WHjPa5fRloqmRRd8 .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-WHjPa5fRloqmRRd8 .marker{fill:#333333;stroke:#333333;}#mermaid-svg-WHjPa5fRloqmRRd8 .marker.cross{stroke:#333333;}#mermaid-svg-WHjPa5fRloqmRRd8 svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-WHjPa5fRloqmRRd8 p{margin:0;}#mermaid-svg-WHjPa5fRloqmRRd8 .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-WHjPa5fRloqmRRd8 .cluster-label text{fill:#333;}#mermaid-svg-WHjPa5fRloqmRRd8 .cluster-label span{color:#333;}#mermaid-svg-WHjPa5fRloqmRRd8 .cluster-label span p{background-color:transparent;}#mermaid-svg-WHjPa5fRloqmRRd8 .label text,#mermaid-svg-WHjPa5fRloqmRRd8 span{fill:#333;color:#333;}#mermaid-svg-WHjPa5fRloqmRRd8 .node rect,#mermaid-svg-WHjPa5fRloqmRRd8 .node circle,#mermaid-svg-WHjPa5fRloqmRRd8 .node ellipse,#mermaid-svg-WHjPa5fRloqmRRd8 .node polygon,#mermaid-svg-WHjPa5fRloqmRRd8 .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-WHjPa5fRloqmRRd8 .rough-node .label text,#mermaid-svg-WHjPa5fRloqmRRd8 .node .label text,#mermaid-svg-WHjPa5fRloqmRRd8 .image-shape .label,#mermaid-svg-WHjPa5fRloqmRRd8 .icon-shape .label{text-anchor:middle;}#mermaid-svg-WHjPa5fRloqmRRd8 .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-WHjPa5fRloqmRRd8 .rough-node .label,#mermaid-svg-WHjPa5fRloqmRRd8 .node .label,#mermaid-svg-WHjPa5fRloqmRRd8 .image-shape .label,#mermaid-svg-WHjPa5fRloqmRRd8 .icon-shape .label{text-align:center;}#mermaid-svg-WHjPa5fRloqmRRd8 .node.clickable{cursor:pointer;}#mermaid-svg-WHjPa5fRloqmRRd8 .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-WHjPa5fRloqmRRd8 .arrowheadPath{fill:#333333;}#mermaid-svg-WHjPa5fRloqmRRd8 .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-WHjPa5fRloqmRRd8 .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-WHjPa5fRloqmRRd8 .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-WHjPa5fRloqmRRd8 .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-WHjPa5fRloqmRRd8 .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-WHjPa5fRloqmRRd8 .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-WHjPa5fRloqmRRd8 .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-WHjPa5fRloqmRRd8 .cluster text{fill:#333;}#mermaid-svg-WHjPa5fRloqmRRd8 .cluster span{color:#333;}#mermaid-svg-WHjPa5fRloqmRRd8 div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-WHjPa5fRloqmRRd8 .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-WHjPa5fRloqmRRd8 rect.text{fill:none;stroke-width:0;}#mermaid-svg-WHjPa5fRloqmRRd8 .icon-shape,#mermaid-svg-WHjPa5fRloqmRRd8 .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-WHjPa5fRloqmRRd8 .icon-shape p,#mermaid-svg-WHjPa5fRloqmRRd8 .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-WHjPa5fRloqmRRd8 .icon-shape .label rect,#mermaid-svg-WHjPa5fRloqmRRd8 .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-WHjPa5fRloqmRRd8 .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-WHjPa5fRloqmRRd8 .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-WHjPa5fRloqmRRd8 :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;}#mermaid-svg-WHjPa5fRloqmRRd8 .input>*{fill:#E3F2FD!important;stroke:#1565C0!important;stroke-width:1.5px!important;color:#0D47A1!important;}#mermaid-svg-WHjPa5fRloqmRRd8 .input span{fill:#E3F2FD!important;stroke:#1565C0!important;stroke-width:1.5px!important;color:#0D47A1!important;}#mermaid-svg-WHjPa5fRloqmRRd8 .input tspan{fill:#0D47A1!important;}#mermaid-svg-WHjPa5fRloqmRRd8 .prep>*{fill:#FFF3E0!important;stroke:#EF6C00!important;stroke-width:1.5px!important;color:#E65100!important;}#mermaid-svg-WHjPa5fRloqmRRd8 .prep span{fill:#FFF3E0!important;stroke:#EF6C00!important;stroke-width:1.5px!important;color:#E65100!important;}#mermaid-svg-WHjPa5fRloqmRRd8 .prep tspan{fill:#E65100!important;}#mermaid-svg-WHjPa5fRloqmRRd8 .block>*{fill:#F3E5F5!important;stroke:#7B1FA2!important;stroke-width:1.5px!important;color:#4A148C!important;}#mermaid-svg-WHjPa5fRloqmRRd8 .block span{fill:#F3E5F5!important;stroke:#7B1FA2!important;stroke-width:1.5px!important;color:#4A148C!important;}#mermaid-svg-WHjPa5fRloqmRRd8 .block tspan{fill:#4A148C!important;}#mermaid-svg-WHjPa5fRloqmRRd8 .compress>*{fill:#FCE4EC!important;stroke:#C2185B!important;stroke-width:1.5px!important;color:#880E4F!important;}#mermaid-svg-WHjPa5fRloqmRRd8 .compress span{fill:#FCE4EC!important;stroke:#C2185B!important;stroke-width:1.5px!important;color:#880E4F!important;}#mermaid-svg-WHjPa5fRloqmRRd8 .compress tspan{fill:#880E4F!important;}#mermaid-svg-WHjPa5fRloqmRRd8 .digest>*{fill:#E8F5E9!important;stroke:#2E7D32!important;stroke-width:1.5px!important;color:#1B5E20!important;}#mermaid-svg-WHjPa5fRloqmRRd8 .digest span{fill:#E8F5E9!important;stroke:#2E7D32!important;stroke-width:1.5px!important;color:#1B5E20!important;}#mermaid-svg-WHjPa5fRloqmRRd8 .digest tspan{fill:#1B5E20!important;} 原始消息 M

文件 / 字节流
消息填充 Padding

补齐至 512 位整数倍
分块处理

Block 0 · Block 1 · ... · Block N
每块 64 轮压缩计算

迭代更新内部状态
最终 SHA-256 摘要

256 bits = 32 bytes

2.2 第一步:消息填充

为了让消息能被完整切分为 512 位的数据块,必须在原始消息末尾按规则补位:

  1. 追加 1 个 1 比特位
  2. 追加若干 0 比特位,使总长度模 512 等于 448
  3. 最后追加 64 位无符号整数,表示原始消息的比特长度

以 "abc" 为例:原始仅 24 位,远不足 512 位,需经过填充后再进入压缩环节。

2.3 第二步:分块与压缩函数

每个 512 位的数据块会按以下方式处理:

  • 初始拆分为 16 个 32 位字
  • 通过消息调度公式扩展为 64 个 32 位字
  • 基于 8 个 32 位工作变量,执行 64 轮压缩运算

运算以位操作为主:异或 XOR、按位与 AND、循环右移 ROTR,以及模 2322^{32}232 加法。每处理完一个块,就把结果累加到内部状态中,最终 8 个状态字拼接即为 256 位摘要。

2.4 第三步:流式增量计算

SHA-256 最具工程价值的特性之一,是支持流式增量计算。

计算一个 2GB 的文件,完全不需要把整个文件载入内存:

复制代码
打开文件
   ↓
读取 64KB 分块
   ↓
更新哈希上下文 Update()
   ↓
循环读取至文件结束
   ↓
生成最终摘要 Final()

SHA-256 计算时间随数据量线性增长 (O(n)),但运行内存占用极低。即使是工业相机输出的大尺寸图像,也可以边读边算,非常适合资源受限的嵌入式设备。


三、哈希去重

SHA-256 本身只负责算哈希,真正实现去重的是「哈希值 + 查询索引 + 去重规则」这套组合机制。

3.1 一个最小例子

假设三台设备采集图片,其中两份字节完全一致:

设备 图片 SHA-256(示意前缀)
A Image 001 a3f91b...
B Image 002 a3f91b...
C Image 003 7d20c4...

系统执行逻辑:

复制代码
设备 A 上传哈希 a3f91b...
  → 云端无记录 → 上传文件 → 云端保存

设备 B 上传哈希 a3f91b...
  → 云端已存在 → 跳过文件上传

设备 C 上传哈希 7d20c4...
  → 云端无记录 → 上传文件 → 云端保存

最终云端只需存储 2 份物理文件,却能对应 3 条采集记录。

3.2 为什么不直接比对完整文件

假设单张图片 5MB,共 10000 张:

  • 全量上传:约 50 GB 网络流量
  • 仅传哈希摘要:约 320 KB(原始二进制) / 640 KB(十六进制文本)

哈希去重的核心价值,就是把大数据内容比对 转化为小尺寸标识查询,极大节省网络带宽与云端存储成本。

注意:设备端仍然需要读取完整文件计算哈希,本地 IO 成本不会消失;节省的主要是上行带宽与云端存储冗余。

哈希去重的本质是「用本地计算换网络与存储」,适合上行带宽有限、重复数据比例高的多设备采集场景。


四、哈希去重 ≠ 业务去重

SHA-256 判断的是字节是否完全相同,不是"看起来像不像"或"业务上是不是同一件事"。

4.1 SHA-256 只认字节,不认"看起来一样"

即使两张图片视觉上几乎没有差别,只要文件字节发生变化(曝光调整、重新压缩、元数据修改),SHA-256 结果通常就会完全不同。

场景 SHA-256 去重结果
同一文件复制到另一台设备 ✅ 可识别重复
同一张图片仅重命名 ✅ 可识别重复
图片重新 JPEG 压缩 ❌ 通常判定不同
图片 EXIF 元数据变化 ❌ 通常判定不同
相同物体被不同相机拍摄 ❌ 通常判定不同

4.2 JSON 数据的序列化

同样的字段与值,键顺序不同,哈希就不同:

json 复制代码
{"temperature":25,"humidity":60}
{"humidity":60,"temperature":25}

二者语义完全一致,但直接对原始字符串算哈希,结果必然不同。

解决方案是规范化序列化(Canonicalization):统一字段排序、数字精度、字符串转义规则后再计算哈希。IETF RFC 8785 专门定义了 JSON Canonicalization Scheme(JCS)标准,适合多语言协同的系统。

4.3 内容 ID ≠ 业务记录 ID

两台温度传感器都采集到 25.0℃,数值相同,但这是两次独立的采集事件。如果只对数值哈希去重,就会丢失第二条记录。

因此必须拆分两个概念:

  • 内容哈希(Content Hash):标识数据字节是否一致,用于文件去重
  • 业务记录 ID(Record ID):标识一次独立采集/业务事件,保证事件不丢失

正确做法是:允许多条业务记录引用同一份物理文件,但业务记录本身必须独立幂等存储。

SHA-256 只解决字节级重复,解决不了视觉相似、语义相同、业务事件重复。


五、架构设计:多设备云端去重系统

5.1 分层架构

#mermaid-svg-WgYLue3wOqichrNj{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-WgYLue3wOqichrNj .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-WgYLue3wOqichrNj .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-WgYLue3wOqichrNj .error-icon{fill:#552222;}#mermaid-svg-WgYLue3wOqichrNj .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-WgYLue3wOqichrNj .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-WgYLue3wOqichrNj .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-WgYLue3wOqichrNj .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-WgYLue3wOqichrNj .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-WgYLue3wOqichrNj .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-WgYLue3wOqichrNj .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-WgYLue3wOqichrNj .marker{fill:#333333;stroke:#333333;}#mermaid-svg-WgYLue3wOqichrNj .marker.cross{stroke:#333333;}#mermaid-svg-WgYLue3wOqichrNj svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-WgYLue3wOqichrNj p{margin:0;}#mermaid-svg-WgYLue3wOqichrNj .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-WgYLue3wOqichrNj .cluster-label text{fill:#333;}#mermaid-svg-WgYLue3wOqichrNj .cluster-label span{color:#333;}#mermaid-svg-WgYLue3wOqichrNj .cluster-label span p{background-color:transparent;}#mermaid-svg-WgYLue3wOqichrNj .label text,#mermaid-svg-WgYLue3wOqichrNj span{fill:#333;color:#333;}#mermaid-svg-WgYLue3wOqichrNj .node rect,#mermaid-svg-WgYLue3wOqichrNj .node circle,#mermaid-svg-WgYLue3wOqichrNj .node ellipse,#mermaid-svg-WgYLue3wOqichrNj .node polygon,#mermaid-svg-WgYLue3wOqichrNj .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-WgYLue3wOqichrNj .rough-node .label text,#mermaid-svg-WgYLue3wOqichrNj .node .label text,#mermaid-svg-WgYLue3wOqichrNj .image-shape .label,#mermaid-svg-WgYLue3wOqichrNj .icon-shape .label{text-anchor:middle;}#mermaid-svg-WgYLue3wOqichrNj .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-WgYLue3wOqichrNj .rough-node .label,#mermaid-svg-WgYLue3wOqichrNj .node .label,#mermaid-svg-WgYLue3wOqichrNj .image-shape .label,#mermaid-svg-WgYLue3wOqichrNj .icon-shape .label{text-align:center;}#mermaid-svg-WgYLue3wOqichrNj .node.clickable{cursor:pointer;}#mermaid-svg-WgYLue3wOqichrNj .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-WgYLue3wOqichrNj .arrowheadPath{fill:#333333;}#mermaid-svg-WgYLue3wOqichrNj .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-WgYLue3wOqichrNj .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-WgYLue3wOqichrNj .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-WgYLue3wOqichrNj .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-WgYLue3wOqichrNj .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-WgYLue3wOqichrNj .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-WgYLue3wOqichrNj .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-WgYLue3wOqichrNj .cluster text{fill:#333;}#mermaid-svg-WgYLue3wOqichrNj .cluster span{color:#333;}#mermaid-svg-WgYLue3wOqichrNj div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-WgYLue3wOqichrNj .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-WgYLue3wOqichrNj rect.text{fill:none;stroke-width:0;}#mermaid-svg-WgYLue3wOqichrNj .icon-shape,#mermaid-svg-WgYLue3wOqichrNj .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-WgYLue3wOqichrNj .icon-shape p,#mermaid-svg-WgYLue3wOqichrNj .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-WgYLue3wOqichrNj .icon-shape .label rect,#mermaid-svg-WgYLue3wOqichrNj .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-WgYLue3wOqichrNj .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-WgYLue3wOqichrNj .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-WgYLue3wOqichrNj :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;}#mermaid-svg-WgYLue3wOqichrNj .device>*{fill:#E3F2FD!important;stroke:#1565C0!important;stroke-width:1.5px!important;color:#0D47A1!important;}#mermaid-svg-WgYLue3wOqichrNj .device span{fill:#E3F2FD!important;stroke:#1565C0!important;stroke-width:1.5px!important;color:#0D47A1!important;}#mermaid-svg-WgYLue3wOqichrNj .device tspan{fill:#0D47A1!important;}#mermaid-svg-WgYLue3wOqichrNj .api>*{fill:#F3E5F5!important;stroke:#7B1FA2!important;stroke-width:1.5px!important;color:#4A148C!important;}#mermaid-svg-WgYLue3wOqichrNj .api span{fill:#F3E5F5!important;stroke:#7B1FA2!important;stroke-width:1.5px!important;color:#4A148C!important;}#mermaid-svg-WgYLue3wOqichrNj .api tspan{fill:#4A148C!important;}#mermaid-svg-WgYLue3wOqichrNj .pg>*{fill:#ECEFF1!important;stroke:#37474F!important;stroke-width:1.5px!important;color:#263238!important;}#mermaid-svg-WgYLue3wOqichrNj .pg span{fill:#ECEFF1!important;stroke:#37474F!important;stroke-width:1.5px!important;color:#263238!important;}#mermaid-svg-WgYLue3wOqichrNj .pg tspan{fill:#263238!important;}#mermaid-svg-WgYLue3wOqichrNj .objstore>*{fill:#E8F5E9!important;stroke:#2E7D32!important;stroke-width:1.5px!important;color:#1B5E20!important;}#mermaid-svg-WgYLue3wOqichrNj .objstore span{fill:#E8F5E9!important;stroke:#2E7D32!important;stroke-width:1.5px!important;color:#1B5E20!important;}#mermaid-svg-WgYLue3wOqichrNj .objstore tspan{fill:#1B5E20!important;} 云端服务
设备端
设备 A

SQLite + SHA-256
设备 B

SQLite + SHA-256
设备 C

SQLite + SHA-256
API 服务层

批量哈希查询 · 差量上传 · 校验 · 幂等处理
PostgreSQL

哈希唯一索引 + 业务记录表
对象存储

S3 / MinIO 等

  • 设备端:计算哈希、维护上传任务队列、执行差量上传、处理断网重试
  • 云端 API:批量哈希查询、文件接收、完整性校验、幂等写入
  • 数据库:维护内容索引与业务记录,提供唯一约束保证并发安全
  • 对象存储:持久化存储实际文件内容

5.2 上传时序(以新文件为例)

云端 边缘设备 数据库 对象存储 云端 API 设备 A 数据库 对象存储 云端 API 设备 A #mermaid-svg-drCS6wjqVIEZJxOh{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-drCS6wjqVIEZJxOh .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-drCS6wjqVIEZJxOh .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-drCS6wjqVIEZJxOh .error-icon{fill:#552222;}#mermaid-svg-drCS6wjqVIEZJxOh .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-drCS6wjqVIEZJxOh .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-drCS6wjqVIEZJxOh .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-drCS6wjqVIEZJxOh .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-drCS6wjqVIEZJxOh .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-drCS6wjqVIEZJxOh .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-drCS6wjqVIEZJxOh .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-drCS6wjqVIEZJxOh .marker{fill:#333333;stroke:#333333;}#mermaid-svg-drCS6wjqVIEZJxOh .marker.cross{stroke:#333333;}#mermaid-svg-drCS6wjqVIEZJxOh svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-drCS6wjqVIEZJxOh p{margin:0;}#mermaid-svg-drCS6wjqVIEZJxOh .actor{stroke:hsl(259.6261682243, 59.7765363128%, 87.9019607843%);fill:#ECECFF;}#mermaid-svg-drCS6wjqVIEZJxOh text.actor>tspan{fill:black;stroke:none;}#mermaid-svg-drCS6wjqVIEZJxOh .actor-line{stroke:hsl(259.6261682243, 59.7765363128%, 87.9019607843%);}#mermaid-svg-drCS6wjqVIEZJxOh .innerArc{stroke-width:1.5;stroke-dasharray:none;}#mermaid-svg-drCS6wjqVIEZJxOh .messageLine0{stroke-width:1.5;stroke-dasharray:none;stroke:#333;}#mermaid-svg-drCS6wjqVIEZJxOh .messageLine1{stroke-width:1.5;stroke-dasharray:2,2;stroke:#333;}#mermaid-svg-drCS6wjqVIEZJxOh #arrowhead path{fill:#333;stroke:#333;}#mermaid-svg-drCS6wjqVIEZJxOh .sequenceNumber{fill:white;}#mermaid-svg-drCS6wjqVIEZJxOh #sequencenumber{fill:#333;}#mermaid-svg-drCS6wjqVIEZJxOh #crosshead path{fill:#333;stroke:#333;}#mermaid-svg-drCS6wjqVIEZJxOh .messageText{fill:#333;stroke:none;}#mermaid-svg-drCS6wjqVIEZJxOh .labelBox{stroke:hsl(259.6261682243, 59.7765363128%, 87.9019607843%);fill:#ECECFF;}#mermaid-svg-drCS6wjqVIEZJxOh .labelText,#mermaid-svg-drCS6wjqVIEZJxOh .labelText>tspan{fill:black;stroke:none;}#mermaid-svg-drCS6wjqVIEZJxOh .loopText,#mermaid-svg-drCS6wjqVIEZJxOh .loopText>tspan{fill:black;stroke:none;}#mermaid-svg-drCS6wjqVIEZJxOh .loopLine{stroke-width:2px;stroke-dasharray:2,2;stroke:hsl(259.6261682243, 59.7765363128%, 87.9019607843%);fill:hsl(259.6261682243, 59.7765363128%, 87.9019607843%);}#mermaid-svg-drCS6wjqVIEZJxOh .note{stroke:#aaaa33;fill:#fff5ad;}#mermaid-svg-drCS6wjqVIEZJxOh .noteText,#mermaid-svg-drCS6wjqVIEZJxOh .noteText>tspan{fill:black;stroke:none;}#mermaid-svg-drCS6wjqVIEZJxOh .activation0{fill:#f4f4f4;stroke:#666;}#mermaid-svg-drCS6wjqVIEZJxOh .activation1{fill:#f4f4f4;stroke:#666;}#mermaid-svg-drCS6wjqVIEZJxOh .activation2{fill:#f4f4f4;stroke:#666;}#mermaid-svg-drCS6wjqVIEZJxOh .actorPopupMenu{position:absolute;}#mermaid-svg-drCS6wjqVIEZJxOh .actorPopupMenuPanel{position:absolute;fill:#ECECFF;box-shadow:0px 8px 16px 0px rgba(0,0,0,0.2);filter:drop-shadow(3px 5px 2px rgb(0 0 0 / 0.4));}#mermaid-svg-drCS6wjqVIEZJxOh .actor-man line{stroke:hsl(259.6261682243, 59.7765363128%, 87.9019607843%);fill:#ECECFF;}#mermaid-svg-drCS6wjqVIEZJxOh .actor-man circle,#mermaid-svg-drCS6wjqVIEZJxOh line{stroke:hsl(259.6261682243, 59.7765363128%, 87.9019607843%);fill:#ECECFF;stroke-width:2px;}#mermaid-svg-drCS6wjqVIEZJxOh :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} ① 本地计算 ② 哈希预检(差量上传) ③ 内容上传与服务端校验 ④ 持久化确认与索引写入 ⑤ ACK 与本地状态收敛 计算文件 SHA-2561查询哈希是否存在2查询内容索引3不存在4需要上传5上传文件内容6通知上传完成7服务端重新计算 SHA-256 校验8确认文件持久化9确认10写入内容索引 + 业务记录11写入成功12持久化 ACK13SQLite 标记任务完成14

如果哈希已存在,设备会跳过文件上传,仅登记一条新的业务采集记录,直接完成同步。

内容存储与业务记录分离设计,一份物理文件可被多设备、多任务引用,是兼顾去重收益与业务完整性的标准架构。


六、并发基石:数据库唯一索引

只靠"先查询再上传"的逻辑,在并发场景下一定会出问题。

6.1 TOCTOU 竞态陷阱

两台设备几乎同时上传同一个文件:

两者查询时数据库都没有记录,于是都会执行完整上传。这就是经典的 TOCTOU(检查时间-使用时间) 竞态问题。

上传前的哈希查询只能优化网络开销,不能提供并发去重的最终保证。

6.2 PostgreSQL 唯一约束 + UPSERT 实战

在内容索引表上建立联合唯一主键,从数据库层面兜底:

sql 复制代码
CREATE TABLE content_objects (
    tenant_id    TEXT     NOT NULL,
    sha256       CHAR(64) NOT NULL,
    size_bytes   BIGINT   NOT NULL,
    storage_key  TEXT     NOT NULL,
    PRIMARY KEY (tenant_id, sha256)
);

写入时使用 ON CONFLICT 实现幂等插入:

sql 复制代码
INSERT INTO content_objects (tenant_id, sha256, size_bytes, storage_key)
VALUES ('tenant_a', 'abc123...', 102400, 'objects/abc123...')
ON CONFLICT (tenant_id, sha256) DO NOTHING;

6.3 对象存储也要条件写入

数据库去重不代表对象存储没有重复文件。以 Amazon S3 为例,可通过 If-None-Match: * 实现条件写入,避免同名对象被意外覆盖或重复写入。

6.4 状态机:只有 READY 才能复用

如果文件上传到一半就失败,云端只剩半截文件,此时绝不能让其他设备认为"文件已存在"。

必须引入状态机:

复制代码
PENDING(上传中)
    ↓
文件完整写入 + 服务端哈希校验通过
    ↓
READY(可复用)

只有 READY 状态的内容,才能对外宣告"已存在",供其他设备复用。

前置查询只省带宽,唯一约束才保正确。数据库唯一索引 + 对象存储条件写入 + 状态机,三者共同保证并发场景下的去重正确性。


七、设备端实战:C++ 实现文件 SHA-256

工业设备端不建议自行实现 SHA-256 算法,推荐直接使用 OpenSSL 成熟的 EVP 摘要接口,兼顾性能与安全性。

以下是 C++17 环境下的流式文件哈希计算示例,采用 64KB 分块读取,支持任意大小文件:

cpp 复制代码
#include <openssl/evp.h>
#include <array>
#include <fstream>
#include <iomanip>
#include <iostream>
#include <sstream>
#include <stdexcept>
#include <string>

std::string sha256_file(const std::string& path) {
    std::ifstream file(path, std::ios::binary);
    if (!file)
        throw std::runtime_error("Cannot open file");

    EVP_MD_CTX* ctx = EVP_MD_CTX_new();
    if (!ctx)
        throw std::runtime_error("Cannot allocate digest context");

    try {
        if (EVP_DigestInit_ex(ctx, EVP_sha256(), nullptr) != 1)
            throw std::runtime_error("SHA-256 init failed");

        std::array<char, 64 * 1024> buffer{};

        while (file) {
            file.read(buffer.data(), buffer.size());
            auto n = file.gcount();

            if (n > 0 &&
                EVP_DigestUpdate(ctx, buffer.data(),
                    static_cast<size_t>(n)) != 1)
                throw std::runtime_error("SHA-256 update failed");
        }

        if (file.bad())
            throw std::runtime_error("File read failed");

        unsigned char digest[EVP_MAX_MD_SIZE];
        unsigned int digest_len = 0;

        if (EVP_DigestFinal_ex(ctx, digest, &digest_len) != 1)
            throw std::runtime_error("SHA-256 final failed");

        EVP_MD_CTX_free(ctx);

        std::ostringstream result;
        result << std::hex << std::setfill('0');

        for (unsigned int i = 0; i < digest_len; ++i)
            result << std::setw(2)
                   << static_cast<unsigned int>(digest[i]);

        return result.str();
    } catch (...) {
        EVP_MD_CTX_free(ctx);
        throw;
    }
}

int main(int argc, char* argv[]) {
    if (argc != 2) return 1;
    std::cout << sha256_file(argv[1]) << '\n';
}

Linux 下编译命令:

复制代码
g++ -std=c++17 sha256_file.cpp -lcrypto -o sha256_file

调用成熟密码库,采用分块流式读取,是工业设备端计算文件哈希的标准做法。


八、本地持久化:设备端 SQLite 任务表设计

设备端必须维护本地上传任务队列,应对断网、重启、服务端超时等异常。

8.1 表结构

sql 复制代码
CREATE TABLE upload_tasks (
    id          INTEGER PRIMARY KEY AUTOINCREMENT,
    record_id   TEXT NOT NULL UNIQUE,
    file_path   TEXT NOT NULL,
    sha256      TEXT,
    size_bytes  INTEGER,
    status      TEXT NOT NULL DEFAULT 'PENDING',
    retry_count INTEGER NOT NULL DEFAULT 0,
    updated_at  TEXT NOT NULL
);

状态流转:PENDING → CHECKING → UPLOADING → ACKED,失败则退回重试队列,采用指数退避。

8.2 两条铁律

  1. 只有收到云端持久化 ACK,才算完成:不能因为 HTTP 200 就认为成功,必须等业务落库确认。
  2. 重试必须幂等:如果上传成功但 ACK 丢包,设备重试时云端必须能识别重复请求,禁止生成第二条相同业务记录。

SQLite 自身也支持 ON CONFLICT DO NOTHING / DO UPDATE 语法,非常适合实现本地任务的去重与状态更新。


九、生产环境问题

9.1 批量查询,降低 RPC 开销

每张图片单独一次 HTTP 查询,开销太高。建议按批次提交哈希:

  • 请求:一次性提交数百到上千个哈希
  • 响应:仅返回不存在的哈希列表
  • 设备只上传缺失的文件

9.2 服务端二次校验

设备端算一次哈希,服务端收完文件必须再算一次,二者一致才确认入库:

Hdevice=Hserver  ⟹  数据完整可信H_{\text{device}} = H_{\text{server}} \implies \text{数据完整可信}Hdevice=Hserver⟹数据完整可信

防止传输损坏、中途文件被篡改、字节不匹配等问题。

9.3 多租户权限隔离

不能因为 A 客户上传过某个文件,就告诉 B 客户"这个文件已经有了"------这会泄露数据存在性。去重范围必须严格限制在同一租户内,配合对象存储权限控制。

9.4 场景选型

不是所有数据都适合用 SHA-256 去重:

数据类型 推荐方案
工业相机原始图片 SHA-256 字节级去重
日志、固件、模型文件 SHA-256 文件级去重
多设备间文件同步 SHA-256 内容寻址
温湿度等传感器数值 业务 ID + 设备序列号去重
JSON 结构化数据 规范化序列化后再哈希
视觉相似图片 感知哈希 / 图像特征相似度检索

总结

一套完善的多设备云端去重同步系统,本质上是三层能力的叠加:
#mermaid-svg-1vFV1FOMdEbnHprR{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-1vFV1FOMdEbnHprR .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-1vFV1FOMdEbnHprR .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-1vFV1FOMdEbnHprR .error-icon{fill:#552222;}#mermaid-svg-1vFV1FOMdEbnHprR .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-1vFV1FOMdEbnHprR .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-1vFV1FOMdEbnHprR .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-1vFV1FOMdEbnHprR .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-1vFV1FOMdEbnHprR .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-1vFV1FOMdEbnHprR .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-1vFV1FOMdEbnHprR .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-1vFV1FOMdEbnHprR .marker{fill:#333333;stroke:#333333;}#mermaid-svg-1vFV1FOMdEbnHprR .marker.cross{stroke:#333333;}#mermaid-svg-1vFV1FOMdEbnHprR svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-1vFV1FOMdEbnHprR p{margin:0;}#mermaid-svg-1vFV1FOMdEbnHprR .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-1vFV1FOMdEbnHprR .cluster-label text{fill:#333;}#mermaid-svg-1vFV1FOMdEbnHprR .cluster-label span{color:#333;}#mermaid-svg-1vFV1FOMdEbnHprR .cluster-label span p{background-color:transparent;}#mermaid-svg-1vFV1FOMdEbnHprR .label text,#mermaid-svg-1vFV1FOMdEbnHprR span{fill:#333;color:#333;}#mermaid-svg-1vFV1FOMdEbnHprR .node rect,#mermaid-svg-1vFV1FOMdEbnHprR .node circle,#mermaid-svg-1vFV1FOMdEbnHprR .node ellipse,#mermaid-svg-1vFV1FOMdEbnHprR .node polygon,#mermaid-svg-1vFV1FOMdEbnHprR .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-1vFV1FOMdEbnHprR .rough-node .label text,#mermaid-svg-1vFV1FOMdEbnHprR .node .label text,#mermaid-svg-1vFV1FOMdEbnHprR .image-shape .label,#mermaid-svg-1vFV1FOMdEbnHprR .icon-shape .label{text-anchor:middle;}#mermaid-svg-1vFV1FOMdEbnHprR .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-1vFV1FOMdEbnHprR .rough-node .label,#mermaid-svg-1vFV1FOMdEbnHprR .node .label,#mermaid-svg-1vFV1FOMdEbnHprR .image-shape .label,#mermaid-svg-1vFV1FOMdEbnHprR .icon-shape .label{text-align:center;}#mermaid-svg-1vFV1FOMdEbnHprR .node.clickable{cursor:pointer;}#mermaid-svg-1vFV1FOMdEbnHprR .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-1vFV1FOMdEbnHprR .arrowheadPath{fill:#333333;}#mermaid-svg-1vFV1FOMdEbnHprR .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-1vFV1FOMdEbnHprR .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-1vFV1FOMdEbnHprR .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-1vFV1FOMdEbnHprR .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-1vFV1FOMdEbnHprR .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-1vFV1FOMdEbnHprR .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-1vFV1FOMdEbnHprR .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-1vFV1FOMdEbnHprR .cluster text{fill:#333;}#mermaid-svg-1vFV1FOMdEbnHprR .cluster span{color:#333;}#mermaid-svg-1vFV1FOMdEbnHprR div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-1vFV1FOMdEbnHprR .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-1vFV1FOMdEbnHprR rect.text{fill:none;stroke-width:0;}#mermaid-svg-1vFV1FOMdEbnHprR .icon-shape,#mermaid-svg-1vFV1FOMdEbnHprR .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-1vFV1FOMdEbnHprR .icon-shape p,#mermaid-svg-1vFV1FOMdEbnHprR .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-1vFV1FOMdEbnHprR .icon-shape .label rect,#mermaid-svg-1vFV1FOMdEbnHprR .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-1vFV1FOMdEbnHprR .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-1vFV1FOMdEbnHprR .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-1vFV1FOMdEbnHprR :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;}#mermaid-svg-1vFV1FOMdEbnHprR .layer1>*{fill:#E3F2FD!important;stroke:#1565C0!important;stroke-width:1.5px!important;color:#0D47A1!important;}#mermaid-svg-1vFV1FOMdEbnHprR .layer1 span{fill:#E3F2FD!important;stroke:#1565C0!important;stroke-width:1.5px!important;color:#0D47A1!important;}#mermaid-svg-1vFV1FOMdEbnHprR .layer1 tspan{fill:#0D47A1!important;}#mermaid-svg-1vFV1FOMdEbnHprR .layer2>*{fill:#E8F5E9!important;stroke:#2E7D32!important;stroke-width:1.5px!important;color:#1B5E20!important;}#mermaid-svg-1vFV1FOMdEbnHprR .layer2 span{fill:#E8F5E9!important;stroke:#2E7D32!important;stroke-width:1.5px!important;color:#1B5E20!important;}#mermaid-svg-1vFV1FOMdEbnHprR .layer2 tspan{fill:#1B5E20!important;}#mermaid-svg-1vFV1FOMdEbnHprR .layer3>*{fill:#FFF3E0!important;stroke:#EF6C00!important;stroke-width:1.5px!important;color:#E65100!important;}#mermaid-svg-1vFV1FOMdEbnHprR .layer3 span{fill:#FFF3E0!important;stroke:#EF6C00!important;stroke-width:1.5px!important;color:#E65100!important;}#mermaid-svg-1vFV1FOMdEbnHprR .layer3 tspan{fill:#E65100!important;} SHA-256 内容识别层

判断字节是否相同,节省带宽与存储
唯一约束 + 条件写入层

并发场景兜底,保证数据不重复写入
SQLite + ACK + 幂等重试层

应对网络异常,保证最终一致

SHA 识内容,索引保并发,幂等抗失败

  • SHA-256 回答「内容是否已经存在」
  • 唯一索引与条件写入回答「并发下如何不重复」
  • 幂等与重试回答「网络断了如何安全恢复」

三者组合,才能构建出工业级可靠的多设备数据去重与同步系统。


如果落地到工业设备项目,优先级最高的是设计好数据身份体系、并发幂等机制、持久化确认流程与异常恢复策略------这几部分才真正决定系统能不能稳定跑在生产环境里。

相关推荐
风落青芜3 小时前
链式二叉树的实现与基本操作
c语言·开发语言·数据结构·算法
青少儿编程课堂4 小时前
蓝桥杯·全国青少年信息素养大赛·电子学会Python/C++考级:中国剩余定理解析
c++·python·算法·bfs·信息学竞赛
罗西的思考17 小时前
【轻量化复刻大模型 / KIMI K3】Muon 优化器及 训练系统
人工智能·算法·机器学习
ashiho18 小时前
【LeetCode hot 100】3. 无重复字符的最长子串 (三种解法)
java·数据结构·后端·算法·leetcode·滑动窗口
数据工匠老o18 小时前
数据库没死,业务卡住了:行锁等待、元数据锁、长事务的排查路径
数据库·算法·架构
黑客笔记19 小时前
安全态势感知中的资产失陷排名思考
人工智能·算法·网络安全
青少儿编程课堂21 小时前
蓝桥杯·全国青少年信息素养大赛·电子学会Python/C++考级:扫描线与线段树求矩形面积并解析
c++·python·算法·bfs·信息学竞赛
电科_银尘21 小时前
【大模型算法与工程 09】SGD、Momentum与AdamW:优化器如何选择
人工智能·算法