Java 序列化也能成为瓶颈:Jackson、Protobuf 与 Redis 序列化的生产实践
一句话结论:序列化发生在每一次跨进程边界。它同时消耗 CPU、内存带宽和网络带宽;在高并发下,它经常是那个"看起来不慢、加起来很贵"的隐形税。
版本基线:Jackson 2.15+ / Spring Boot 3.x;Protobuf 3.x + gRPC;Redis 7。
1. 序列化到底贵在哪
一次请求可能经历:
text
HTTP JSON 反序列化 → DTO → Redis JSON 序列化/反序列化 → RPC Protobuf → MQ Avro → 日志 JSON
每一层都在做:
- 反射/字段查找;
- 字符串编码/解码;
- 对象分配(年轻代垃圾);
- 网络传输;
- 压缩/解压(如果开启)。
在 I/O 密集型系统里,CPU 看似不是瓶颈,但序列化是随 QPS 线性增长的成本。QPS 翻 10 倍,序列化 CPU 也翻 10 倍,最后可能先于 DB 成为瓶颈。
2. Jackson:先避开 8 个低级错误
2.1 每次请求 new ObjectMapper
java
// 反例
ObjectMapper mapper = new ObjectMapper();
String json = mapper.writeValueAsString(order);
ObjectMapper 的创建和初始化(注册模块、缓存序列化器)很贵。它是线程安全的(配置完成后),应该作为单例 Bean。
java
@Bean
ObjectMapper objectMapper() {
return JsonMapper.builder()
.addModule(new JavaTimeModule())
.disable(SerializationFeature.WRITE_DATES_AS_TIMESTAMPS)
.disable(DeserializationFeature.FAIL_ON_UNKNOWN_PROPERTIES)
.build();
}
2.2 直接序列化实体
java
// 反例:懒加载、双向关联、敏感字段、字段膨胀
return orderRepository.findById(id);
应该返回 DTO:
java
public record OrderDTO(Long id, String status, BigDecimal amount, Instant createdAt) {}
好处:
- 控制输出字段,减少 payload;
- 避免懒加载触发额外 SQL;
- 避免双向关联死循环;
- 避免把内部字段/敏感信息暴露出去;
- 便于版本演进。
2.3 时间格式不统一
java
// 反例:默认时间戳/时区不一致
private Date createdAt;
// 推荐:明确类型和格式
private Instant createdAt;
配置:
java
.disable(SerializationFeature.WRITE_DATES_AS_TIMESTAMPS)
输出 ISO-8601,例如 2026-01-01T12:00:00Z。跨时区系统统一用 Instant/OffsetDateTime,展示层再转本地时间。
2.4 Long 精度丢失
JavaScript 的 Number 安全整数上限是 2^53 - 1。雪花 ID 超过这个值,前端会丢精度。
java
public record OrderDTO(
@JsonSerialize(using = ToStringSerializer.class)
Long id
) {}
不要全局把所有 Long 转字符串,除非你确认所有客户端都能接受;按 DTO 字段处理更安全。
2.5 BigDecimal 变成浮点数
java
public record PaymentDTO(
@JsonFormat(shape = JsonFormat.Shape.STRING)
BigDecimal amount
) {}
金额用字符串传输,避免二进制浮点误差和不同语言解析差异。
2.6 双向关联/循环引用
java
class Order { List<OrderItem> items; }
class OrderItem { Order order; }
直接序列化会无限递归。用 DTO 切断关联,或 @JsonIgnore/@JsonManagedReference。首选 DTO。
2.7 未知字段导致反序列化失败
上游加字段,下游旧版本可能直接报错。对外接口建议:
java
.disable(DeserializationFeature.FAIL_ON_UNKNOWN_PROPERTIES)
内部强契约场景可以保留严格模式,但要做好版本管理。
2.8 大对象一次性序列化
java
// 反例:一次返回 10 万条
return objectMapper.writeValueAsString(allOrders);
应该:
- 分页;
- 字段裁剪;
- 流式输出(
JsonGenerator/StreamingResponseBody); - 压缩(见第 6 节)。
3. 高频路径:考虑二进制协议
3.1 选型对比
| 协议 | 可读性 | Schema | 体积 | 速度 | 兼容性 | 适用 |
|---|---|---|---|---|---|---|
| JSON | 高 | 弱 | 大 | 中 | 好 | 对外 API、配置、日志 |
| Protobuf | 低 | 强 | 小 | 快 | 好(字段号) | 内部 RPC、高 QPS |
| Avro | 低 | 强 | 小 | 快 | 好(Schema Registry) | 大数据、MQ |
| MessagePack | 低 | 弱 | 较小 | 较快 | 中 | 缓存、跨语言 |
| Kryo | 低 | 弱 | 小 | 很快 | 差(版本) | 短期缓存、RPC |
| Java 原生 | 低 | 弱 | 大 | 慢 | 差 | 不推荐 |
表中"体积/速度"是相对量级,不是 benchmark 结论。选型前用你的真实 payload 跑 JMH,至少比较:序列化耗时、反序列化耗时、字节数、GC 分配。
3.2 Protobuf 示例
proto
syntax = "proto3";
message Order {
int64 id = 1;
string status = 2;
int64 amount_cent = 3; // 金额用最小单位,避免浮点
int64 created_at_ms = 4;
repeated OrderItem items = 5;
}
message OrderItem {
int64 sku_id = 1;
int32 qty = 2;
}
原则:
- 字段号一旦发布不要复用;
- 删除字段用
reserved; - 新增字段用新编号,保持向后兼容;
- 金额用整数最小单位,或 string/decimal 约定;
- 时间用 epoch millis,明确时区语义。
3.3 什么时候不值得上 Protobuf
- 对外 API,客户端需要可读性;
- QPS 不高,JSON 不是瓶颈;
- 团队缺少 schema 管理/代码生成流程;
- 调试成本大于收益。
不要为了"性能"把简单系统复杂化。 先测量 JSON 占比,再决定。
4. Redis 序列化:别把类型信息当儿戏
4.1 推荐:String + JSON
java
@Bean
RedisTemplate<String, String> redisTemplate(RedisConnectionFactory factory) {
RedisTemplate<String, String> template = new StringRedisTemplate(factory);
template.setKeySerializer(new StringRedisSerializer());
template.setValueSerializer(new StringRedisSerializer());
return template;
}
- Key 用 String,排查/迁移方便;
- Value 用 JSON,跨语言、可读;
- 反序列化时明确目标类型,不要依赖
@class。
4.2 GenericJackson2JsonRedisSerializer 的风险
它会在 JSON 中写入类型信息(如 @class),反序列化时按类型创建对象。风险:
- 类重构/包名变更导致旧缓存反序列化失败;
- 攻击者控制缓存内容时,可能触发危险类型;
- 跨语言不兼容;
- payload 变大。
如果使用,必须限制可反序列化的包/类,并避免把不可信数据写入缓存。
4.3 不要用 Java 原生序列化
java
// 反例
new JdkSerializationRedisSerializer()
问题:
- 体积大;
- 版本兼容差(
serialVersionUID); - 反序列化漏洞(gadget chains);
- 不可读,排查困难。
5. 安全:反序列化是高危入口
5.1 不要反序列化不可信类型
- Fastjson autoType 历史漏洞多;如必须使用,关闭 autoType 并升级到安全版本;
- Jackson 的
enableDefaultTyping/多态类型要谨慎,使用白名单校验; - 不要用 Java 原生序列化接收外部数据;
- 不要把用户输入直接当类名/类型名。
5.2 输入校验
java
if (!ALLOWED_TYPES.contains(node.get("type").asText())) {
throw new IllegalArgumentException("unsupported type");
}
序列化安全的第一原则:不要相信 payload 里的类型信息。
6. 压缩:带宽换 CPU,要算账
6.1 Spring Boot 开启 HTTP 压缩
yaml
server:
compression:
enabled: true
min-response-size: 2KB
mime-types: application/json,text/html,text/plain
6.2 什么时候压缩
| payload | 建议 |
|---|---|
| < 1KB | 不压缩,头开销可能更大 |
| 1KB~10KB | 可评估 gzip |
| > 10KB | 通常值得压缩 |
| 已压缩内容(图片/视频/zip) | 不再压缩 |
| 极低延迟场景 | 评估 CPU 开销,可能不压缩 |
压缩算法:
- gzip:兼容性好,CPU 中等;
- Brotli:压缩率高,CPU 略高,浏览器支持好;
- zstd:吞吐好,需客户端/服务端支持。
压缩不是默认越多越好:在高 QPS 下,压缩 CPU 可能成为新瓶颈。用压测对比"带宽节省"和"CPU 增加"。
7. 一条完整的序列化链路
#mermaid-svg-gQFvKQGgpPVkxrTl{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-gQFvKQGgpPVkxrTl .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-gQFvKQGgpPVkxrTl .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-gQFvKQGgpPVkxrTl .error-icon{fill:#552222;}#mermaid-svg-gQFvKQGgpPVkxrTl .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-gQFvKQGgpPVkxrTl .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-gQFvKQGgpPVkxrTl .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-gQFvKQGgpPVkxrTl .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-gQFvKQGgpPVkxrTl .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-gQFvKQGgpPVkxrTl .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-gQFvKQGgpPVkxrTl .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-gQFvKQGgpPVkxrTl .marker{fill:#333333;stroke:#333333;}#mermaid-svg-gQFvKQGgpPVkxrTl .marker.cross{stroke:#333333;}#mermaid-svg-gQFvKQGgpPVkxrTl svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-gQFvKQGgpPVkxrTl p{margin:0;}#mermaid-svg-gQFvKQGgpPVkxrTl .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-gQFvKQGgpPVkxrTl .cluster-label text{fill:#333;}#mermaid-svg-gQFvKQGgpPVkxrTl .cluster-label span{color:#333;}#mermaid-svg-gQFvKQGgpPVkxrTl .cluster-label span p{background-color:transparent;}#mermaid-svg-gQFvKQGgpPVkxrTl .label text,#mermaid-svg-gQFvKQGgpPVkxrTl span{fill:#333;color:#333;}#mermaid-svg-gQFvKQGgpPVkxrTl .node rect,#mermaid-svg-gQFvKQGgpPVkxrTl .node circle,#mermaid-svg-gQFvKQGgpPVkxrTl .node ellipse,#mermaid-svg-gQFvKQGgpPVkxrTl .node polygon,#mermaid-svg-gQFvKQGgpPVkxrTl .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-gQFvKQGgpPVkxrTl .rough-node .label text,#mermaid-svg-gQFvKQGgpPVkxrTl .node .label text,#mermaid-svg-gQFvKQGgpPVkxrTl .image-shape .label,#mermaid-svg-gQFvKQGgpPVkxrTl .icon-shape .label{text-anchor:middle;}#mermaid-svg-gQFvKQGgpPVkxrTl .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-gQFvKQGgpPVkxrTl .rough-node .label,#mermaid-svg-gQFvKQGgpPVkxrTl .node .label,#mermaid-svg-gQFvKQGgpPVkxrTl .image-shape .label,#mermaid-svg-gQFvKQGgpPVkxrTl .icon-shape .label{text-align:center;}#mermaid-svg-gQFvKQGgpPVkxrTl .node.clickable{cursor:pointer;}#mermaid-svg-gQFvKQGgpPVkxrTl .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-gQFvKQGgpPVkxrTl .arrowheadPath{fill:#333333;}#mermaid-svg-gQFvKQGgpPVkxrTl .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-gQFvKQGgpPVkxrTl .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-gQFvKQGgpPVkxrTl .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-gQFvKQGgpPVkxrTl .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-gQFvKQGgpPVkxrTl .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-gQFvKQGgpPVkxrTl .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-gQFvKQGgpPVkxrTl .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-gQFvKQGgpPVkxrTl .cluster text{fill:#333;}#mermaid-svg-gQFvKQGgpPVkxrTl .cluster span{color:#333;}#mermaid-svg-gQFvKQGgpPVkxrTl div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-gQFvKQGgpPVkxrTl .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-gQFvKQGgpPVkxrTl rect.text{fill:none;stroke-width:0;}#mermaid-svg-gQFvKQGgpPVkxrTl .icon-shape,#mermaid-svg-gQFvKQGgpPVkxrTl .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-gQFvKQGgpPVkxrTl .icon-shape p,#mermaid-svg-gQFvKQGgpPVkxrTl .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-gQFvKQGgpPVkxrTl .icon-shape rect,#mermaid-svg-gQFvKQGgpPVkxrTl .image-shape rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-gQFvKQGgpPVkxrTl .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-gQFvKQGgpPVkxrTl .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-gQFvKQGgpPVkxrTl :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} JSON (HTTP)
JSON / Protobuf
JSON (Redis)
Protobuf (gRPC)
Avro (Kafka)
JSON (日志)
客户端
Gateway
订单服务
Redis
库存服务
MQ
日志系统
优化顺序:
- 先消除重复序列化(同一对象在链路里被反复转 JSON);
- 再减小 payload(DTO、字段裁剪、分页);
- 再考虑二进制协议;
- 最后才考虑压缩和缓存序列化结果。
8. 怎么验证序列化开销
8.1 JMH 基准
java
@BenchmarkMode(Mode.AverageTime)
@OutputTimeUnit(TimeUnit.MICROSECONDS)
@State(Scope.Thread)
public class SerdeBenchmark {
private ObjectMapper mapper;
private OrderDTO order;
@Setup
public void setup() {
mapper = new ObjectMapper().registerModule(new JavaTimeModule());
order = new OrderDTO(1L, "PAID", new BigDecimal("99.00"), Instant.now());
}
@Benchmark
public byte[] jackson() throws Exception {
return mapper.writeValueAsBytes(order);
}
}
8.2 线上指标
- 序列化耗时(埋点/Trace span);
- payload 大小(HTTP 响应、Redis value、MQ message);
- GC 分配速率(JFR
jdk.ObjectAllocationInNewTLAB); - CPU profile 中
com.fasterxml.jackson占比; - 网络出口带宽。
不要凭感觉说"JSON 慢"。先看它在 CPU/带宽里占多少。
9. 常见误区
| 误区 | 后果 | 正确做法 |
|---|---|---|
| 每次 new ObjectMapper | CPU/内存浪费 | 单例 Bean |
| 直接序列化实体 | 懒加载、循环引用、泄露字段 | DTO |
| Long 直接给前端 | JS 精度丢失 | 字符串 |
| BigDecimal 用浮点 | 金额误差 | 字符串/最小单位整数 |
| 用 Java 原生序列化 | 体积大、漏洞 | JSON/Protobuf |
| Fastjson autoType 不关 | RCE 风险 | 关闭/升级/换 Jackson |
| 所有响应都 gzip | CPU 飙升 | 按大小/类型评估 |
| 二进制协议盲目上 | 复杂度大于收益 | 先测量 JSON 占比 |
10. Checklist
text
[ ] ObjectMapper 单例,配置集中管理
[ ] 对外返回 DTO,不序列化实体
[ ] 时间类型/格式/时区统一
[ ] Long 精度、BigDecimal 金额有约定
[ ] 循环引用/懒加载不会进入序列化
[ ] Redis value 用明确类型,不依赖 @class
[ ] 不反序列化不可信类型,autoType 关闭
[ ] 大 payload 分页/裁剪/流式
[ ] 压缩按大小和 CPU 成本评估
[ ] 有 JMH 或线上序列化耗时/字节数指标
上一篇 :07 · 异步