Java 序列化也能成为瓶颈:Jackson、Protobuf 与 Redis 序列化的生产实践

Java 序列化也能成为瓶颈:Jackson、Protobuf 与 Redis 序列化的生产实践

一句话结论:序列化发生在每一次跨进程边界。它同时消耗 CPU、内存带宽和网络带宽;在高并发下,它经常是那个"看起来不慢、加起来很贵"的隐形税。

版本基线:Jackson 2.15+ / Spring Boot 3.x;Protobuf 3.x + gRPC;Redis 7。


1. 序列化到底贵在哪

一次请求可能经历:

text 复制代码
HTTP JSON 反序列化 → DTO → Redis JSON 序列化/反序列化 → RPC Protobuf → MQ Avro → 日志 JSON

每一层都在做:

  • 反射/字段查找;
  • 字符串编码/解码;
  • 对象分配(年轻代垃圾);
  • 网络传输;
  • 压缩/解压(如果开启)。

在 I/O 密集型系统里,CPU 看似不是瓶颈,但序列化是随 QPS 线性增长的成本。QPS 翻 10 倍,序列化 CPU 也翻 10 倍,最后可能先于 DB 成为瓶颈。


2. Jackson:先避开 8 个低级错误

2.1 每次请求 new ObjectMapper

java 复制代码
// 反例
ObjectMapper mapper = new ObjectMapper();
String json = mapper.writeValueAsString(order);

ObjectMapper 的创建和初始化(注册模块、缓存序列化器)很贵。它是线程安全的(配置完成后),应该作为单例 Bean。

java 复制代码
@Bean
ObjectMapper objectMapper() {
    return JsonMapper.builder()
        .addModule(new JavaTimeModule())
        .disable(SerializationFeature.WRITE_DATES_AS_TIMESTAMPS)
        .disable(DeserializationFeature.FAIL_ON_UNKNOWN_PROPERTIES)
        .build();
}

2.2 直接序列化实体

java 复制代码
// 反例:懒加载、双向关联、敏感字段、字段膨胀
return orderRepository.findById(id);

应该返回 DTO:

java 复制代码
public record OrderDTO(Long id, String status, BigDecimal amount, Instant createdAt) {}

好处:

  • 控制输出字段,减少 payload;
  • 避免懒加载触发额外 SQL;
  • 避免双向关联死循环;
  • 避免把内部字段/敏感信息暴露出去;
  • 便于版本演进。

2.3 时间格式不统一

java 复制代码
// 反例:默认时间戳/时区不一致
private Date createdAt;

// 推荐:明确类型和格式
private Instant createdAt;

配置:

java 复制代码
.disable(SerializationFeature.WRITE_DATES_AS_TIMESTAMPS)

输出 ISO-8601,例如 2026-01-01T12:00:00Z。跨时区系统统一用 Instant/OffsetDateTime,展示层再转本地时间。

2.4 Long 精度丢失

JavaScript 的 Number 安全整数上限是 2^53 - 1。雪花 ID 超过这个值,前端会丢精度。

java 复制代码
public record OrderDTO(
    @JsonSerialize(using = ToStringSerializer.class)
    Long id
) {}

不要全局把所有 Long 转字符串,除非你确认所有客户端都能接受;按 DTO 字段处理更安全。

2.5 BigDecimal 变成浮点数

java 复制代码
public record PaymentDTO(
    @JsonFormat(shape = JsonFormat.Shape.STRING)
    BigDecimal amount
) {}

金额用字符串传输,避免二进制浮点误差和不同语言解析差异。

2.6 双向关联/循环引用

java 复制代码
class Order { List<OrderItem> items; }
class OrderItem { Order order; }

直接序列化会无限递归。用 DTO 切断关联,或 @JsonIgnore/@JsonManagedReference。首选 DTO。

2.7 未知字段导致反序列化失败

上游加字段,下游旧版本可能直接报错。对外接口建议:

java 复制代码
.disable(DeserializationFeature.FAIL_ON_UNKNOWN_PROPERTIES)

内部强契约场景可以保留严格模式,但要做好版本管理。

2.8 大对象一次性序列化

java 复制代码
// 反例:一次返回 10 万条
return objectMapper.writeValueAsString(allOrders);

应该:

  • 分页;
  • 字段裁剪;
  • 流式输出(JsonGenerator / StreamingResponseBody);
  • 压缩(见第 6 节)。

3. 高频路径:考虑二进制协议

3.1 选型对比

协议 可读性 Schema 体积 速度 兼容性 适用
JSON 高 弱 大 中 好 对外 API、配置、日志
Protobuf 低 强 小 快 好(字段号) 内部 RPC、高 QPS
Avro 低 强 小 快 好(Schema Registry) 大数据、MQ
MessagePack 低 弱 较小 较快 中 缓存、跨语言
Kryo 低 弱 小 很快 差(版本) 短期缓存、RPC
Java 原生 低 弱 大 慢 差 不推荐

表中"体积/速度"是相对量级,不是 benchmark 结论。选型前用你的真实 payload 跑 JMH,至少比较:序列化耗时、反序列化耗时、字节数、GC 分配。

3.2 Protobuf 示例

proto 复制代码
syntax = "proto3";

message Order {
  int64 id = 1;
  string status = 2;
  int64 amount_cent = 3;   // 金额用最小单位,避免浮点
  int64 created_at_ms = 4;
  repeated OrderItem items = 5;
}

message OrderItem {
  int64 sku_id = 1;
  int32 qty = 2;
}

原则:

  • 字段号一旦发布不要复用;
  • 删除字段用 reserved;
  • 新增字段用新编号,保持向后兼容;
  • 金额用整数最小单位,或 string/decimal 约定;
  • 时间用 epoch millis,明确时区语义。

3.3 什么时候不值得上 Protobuf

  • 对外 API,客户端需要可读性;
  • QPS 不高,JSON 不是瓶颈;
  • 团队缺少 schema 管理/代码生成流程;
  • 调试成本大于收益。

不要为了"性能"把简单系统复杂化。 先测量 JSON 占比,再决定。


4. Redis 序列化:别把类型信息当儿戏

4.1 推荐:String + JSON

java 复制代码
@Bean
RedisTemplate<String, String> redisTemplate(RedisConnectionFactory factory) {
    RedisTemplate<String, String> template = new StringRedisTemplate(factory);
    template.setKeySerializer(new StringRedisSerializer());
    template.setValueSerializer(new StringRedisSerializer());
    return template;
}
  • Key 用 String,排查/迁移方便;
  • Value 用 JSON,跨语言、可读;
  • 反序列化时明确目标类型,不要依赖 @class。

4.2 GenericJackson2JsonRedisSerializer 的风险

它会在 JSON 中写入类型信息(如 @class),反序列化时按类型创建对象。风险:

  • 类重构/包名变更导致旧缓存反序列化失败;
  • 攻击者控制缓存内容时,可能触发危险类型;
  • 跨语言不兼容;
  • payload 变大。

如果使用,必须限制可反序列化的包/类,并避免把不可信数据写入缓存。

4.3 不要用 Java 原生序列化

java 复制代码
// 反例
new JdkSerializationRedisSerializer()

问题:

  • 体积大;
  • 版本兼容差(serialVersionUID);
  • 反序列化漏洞(gadget chains);
  • 不可读,排查困难。

5. 安全:反序列化是高危入口

5.1 不要反序列化不可信类型

  • Fastjson autoType 历史漏洞多;如必须使用,关闭 autoType 并升级到安全版本;
  • Jackson 的 enableDefaultTyping/多态类型要谨慎,使用白名单校验;
  • 不要用 Java 原生序列化接收外部数据;
  • 不要把用户输入直接当类名/类型名。

5.2 输入校验

java 复制代码
if (!ALLOWED_TYPES.contains(node.get("type").asText())) {
    throw new IllegalArgumentException("unsupported type");
}

序列化安全的第一原则:不要相信 payload 里的类型信息。


6. 压缩:带宽换 CPU,要算账

6.1 Spring Boot 开启 HTTP 压缩

yaml 复制代码
server:
  compression:
    enabled: true
    min-response-size: 2KB
    mime-types: application/json,text/html,text/plain

6.2 什么时候压缩

payload 建议
< 1KB 不压缩,头开销可能更大
1KB~10KB 可评估 gzip
> 10KB 通常值得压缩
已压缩内容(图片/视频/zip) 不再压缩
极低延迟场景 评估 CPU 开销,可能不压缩

压缩算法:

  • gzip:兼容性好,CPU 中等;
  • Brotli:压缩率高,CPU 略高,浏览器支持好;
  • zstd:吞吐好,需客户端/服务端支持。

压缩不是默认越多越好:在高 QPS 下,压缩 CPU 可能成为新瓶颈。用压测对比"带宽节省"和"CPU 增加"。


7. 一条完整的序列化链路

#mermaid-svg-gQFvKQGgpPVkxrTl{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-gQFvKQGgpPVkxrTl .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-gQFvKQGgpPVkxrTl .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-gQFvKQGgpPVkxrTl .error-icon{fill:#552222;}#mermaid-svg-gQFvKQGgpPVkxrTl .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-gQFvKQGgpPVkxrTl .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-gQFvKQGgpPVkxrTl .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-gQFvKQGgpPVkxrTl .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-gQFvKQGgpPVkxrTl .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-gQFvKQGgpPVkxrTl .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-gQFvKQGgpPVkxrTl .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-gQFvKQGgpPVkxrTl .marker{fill:#333333;stroke:#333333;}#mermaid-svg-gQFvKQGgpPVkxrTl .marker.cross{stroke:#333333;}#mermaid-svg-gQFvKQGgpPVkxrTl svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-gQFvKQGgpPVkxrTl p{margin:0;}#mermaid-svg-gQFvKQGgpPVkxrTl .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-gQFvKQGgpPVkxrTl .cluster-label text{fill:#333;}#mermaid-svg-gQFvKQGgpPVkxrTl .cluster-label span{color:#333;}#mermaid-svg-gQFvKQGgpPVkxrTl .cluster-label span p{background-color:transparent;}#mermaid-svg-gQFvKQGgpPVkxrTl .label text,#mermaid-svg-gQFvKQGgpPVkxrTl span{fill:#333;color:#333;}#mermaid-svg-gQFvKQGgpPVkxrTl .node rect,#mermaid-svg-gQFvKQGgpPVkxrTl .node circle,#mermaid-svg-gQFvKQGgpPVkxrTl .node ellipse,#mermaid-svg-gQFvKQGgpPVkxrTl .node polygon,#mermaid-svg-gQFvKQGgpPVkxrTl .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-gQFvKQGgpPVkxrTl .rough-node .label text,#mermaid-svg-gQFvKQGgpPVkxrTl .node .label text,#mermaid-svg-gQFvKQGgpPVkxrTl .image-shape .label,#mermaid-svg-gQFvKQGgpPVkxrTl .icon-shape .label{text-anchor:middle;}#mermaid-svg-gQFvKQGgpPVkxrTl .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-gQFvKQGgpPVkxrTl .rough-node .label,#mermaid-svg-gQFvKQGgpPVkxrTl .node .label,#mermaid-svg-gQFvKQGgpPVkxrTl .image-shape .label,#mermaid-svg-gQFvKQGgpPVkxrTl .icon-shape .label{text-align:center;}#mermaid-svg-gQFvKQGgpPVkxrTl .node.clickable{cursor:pointer;}#mermaid-svg-gQFvKQGgpPVkxrTl .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-gQFvKQGgpPVkxrTl .arrowheadPath{fill:#333333;}#mermaid-svg-gQFvKQGgpPVkxrTl .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-gQFvKQGgpPVkxrTl .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-gQFvKQGgpPVkxrTl .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-gQFvKQGgpPVkxrTl .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-gQFvKQGgpPVkxrTl .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-gQFvKQGgpPVkxrTl .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-gQFvKQGgpPVkxrTl .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-gQFvKQGgpPVkxrTl .cluster text{fill:#333;}#mermaid-svg-gQFvKQGgpPVkxrTl .cluster span{color:#333;}#mermaid-svg-gQFvKQGgpPVkxrTl div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-gQFvKQGgpPVkxrTl .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-gQFvKQGgpPVkxrTl rect.text{fill:none;stroke-width:0;}#mermaid-svg-gQFvKQGgpPVkxrTl .icon-shape,#mermaid-svg-gQFvKQGgpPVkxrTl .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-gQFvKQGgpPVkxrTl .icon-shape p,#mermaid-svg-gQFvKQGgpPVkxrTl .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-gQFvKQGgpPVkxrTl .icon-shape rect,#mermaid-svg-gQFvKQGgpPVkxrTl .image-shape rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-gQFvKQGgpPVkxrTl .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-gQFvKQGgpPVkxrTl .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-gQFvKQGgpPVkxrTl :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} JSON (HTTP)
JSON / Protobuf
JSON (Redis)
Protobuf (gRPC)
Avro (Kafka)
JSON (日志)
客户端
Gateway
订单服务
Redis
库存服务
MQ
日志系统

优化顺序:

  1. 先消除重复序列化(同一对象在链路里被反复转 JSON);
  2. 再减小 payload(DTO、字段裁剪、分页);
  3. 再考虑二进制协议;
  4. 最后才考虑压缩和缓存序列化结果。

8. 怎么验证序列化开销

8.1 JMH 基准

java 复制代码
@BenchmarkMode(Mode.AverageTime)
@OutputTimeUnit(TimeUnit.MICROSECONDS)
@State(Scope.Thread)
public class SerdeBenchmark {
    private ObjectMapper mapper;
    private OrderDTO order;

    @Setup
    public void setup() {
        mapper = new ObjectMapper().registerModule(new JavaTimeModule());
        order = new OrderDTO(1L, "PAID", new BigDecimal("99.00"), Instant.now());
    }

    @Benchmark
    public byte[] jackson() throws Exception {
        return mapper.writeValueAsBytes(order);
    }
}

8.2 线上指标

  • 序列化耗时(埋点/Trace span);
  • payload 大小(HTTP 响应、Redis value、MQ message);
  • GC 分配速率(JFR jdk.ObjectAllocationInNewTLAB);
  • CPU profile 中 com.fasterxml.jackson 占比;
  • 网络出口带宽。

不要凭感觉说"JSON 慢"。先看它在 CPU/带宽里占多少。


9. 常见误区

误区 后果 正确做法
每次 new ObjectMapper CPU/内存浪费 单例 Bean
直接序列化实体 懒加载、循环引用、泄露字段 DTO
Long 直接给前端 JS 精度丢失 字符串
BigDecimal 用浮点 金额误差 字符串/最小单位整数
用 Java 原生序列化 体积大、漏洞 JSON/Protobuf
Fastjson autoType 不关 RCE 风险 关闭/升级/换 Jackson
所有响应都 gzip CPU 飙升 按大小/类型评估
二进制协议盲目上 复杂度大于收益 先测量 JSON 占比

10. Checklist

text 复制代码
[ ] ObjectMapper 单例,配置集中管理
[ ] 对外返回 DTO,不序列化实体
[ ] 时间类型/格式/时区统一
[ ] Long 精度、BigDecimal 金额有约定
[ ] 循环引用/懒加载不会进入序列化
[ ] Redis value 用明确类型,不依赖 @class
[ ] 不反序列化不可信类型,autoType 关闭
[ ] 大 payload 分页/裁剪/流式
[ ] 压缩按大小和 CPU 成本评估
[ ] 有 JMH 或线上序列化耗时/字节数指标

上一篇 :07 · 异步

下一篇 :09 · 锁:本地锁到分布式 Fencing

相关推荐
Yeats_Liao9 分钟前
物联网平台优化系列(三):全局懒加载吞掉 MQTT 初始化
java·物联网·struts
千寻技术帮12 分钟前
基于Spring Boot+Vue的农产品销售管理系统(源码+文档+数据库,附部署教程)
java·数据库·spring boot·后端·mysql·vue
好用斋19 分钟前
拾光坞G2使用新版Docker懒人包:一键安装、一键升级、一键卸载
java·docker·容器
码云社区35 分钟前
Spring Boot陪诊陪护系统源码:医院目录、服务项目与城市业务配置
java·spring boot·后端·陪诊陪护·医院陪诊·医院陪护·陪护小程序
我不会起名字3221 小时前
分布式 ID:雪花、号段与 Redis 自增的 3 个取舍
redis·雪花算法·分布式 id·号段
CoderYanger2 小时前
Java EE 进阶:9.MyBatis 操作数据库(进阶)(第七弹):图书管理系统(强制登录)
java·数据库·spring boot·spring·java-ee·tomcat·mybatis
学长毕设2 小时前
基于SpringBoot 餐饮餐厅点菜管理系统-附源码
java·spring boot·后端
Flynn Liang2 小时前
多智能体协同不再复杂:Redis Stream 消费者组、幂等与故障恢复
数据库·人工智能·redis·缓存·ai agent·智能体
学长毕设2 小时前
基于SpringBoot 校园招聘求职论坛交流系统-附源码
java·spring boot·后端