双路服务器跑得比单路慢:JVM 没看见内存的距离

机房里有台两路服务器,核数是单路的两倍,价格贵一半。把同一个 Java 服务搬上去,QPS 没涨,p99 还退了一点。

这类事通常被归到「调度没调好」或者「锁竞争」。Java Code Geeks 11 月 19 日那篇文章给了另一个方向:内存本身有远近,JVM 如果不知道这件事,多出来的那颗 CPU 会带着一半线程去访问别人的内存。

事实:一组延迟数字和一个开关

文章引了一组很老的测量。一台双路 Xeon E5-2665,用 Intel 的 Memory Latency Checker 量空闲状态下的读延迟:

访问对象 延迟
本节点内存 约 70 ns
另一个节点的内存 113--119 ns

差 62% 到 71%。这组数来自 JDK 工程师 Sangheon Kim 的博客,机器是十多年前的平台,绝对值放到今天不能直接用,形状是对的:跨插槽取一次内存,代价接近本地的一倍半。

然后是 JVM 侧的开关。JEP 345 把 NUMA 感知的内存分配做进了 G1,JDK 14 起生效。在那之前,只有 Parallel GC 有类似能力,靠 -XX:+UseNUMA。

验证方式很土,也很有效:

numactl --hardware java -XX:+UseNUMA -Xlog:gc+init -version 2>&1 | grep NUMA

第一条打印节点数、每个节点的内存大小和一张距离表,值 10 表示本地,越大越远。那张表是相对值不是纳秒,10 对 21 大致对应远端访问贵一倍。第二条让 JVM 自己说它有没有识别到 NUMA。文章作者在一台单路机器上跑,得到的是「NUMA Support: Disabled」。

顺手还能看拓扑本身。lscpu | grep NUMA 会给出每个插槽几个节点,这个数字决定你面对的是「两颗 CPU 两个节点」还是「一颗 CPU 内部就分了好几个节点」。AMD 的 EPYC 属于后者:BIOS 里的 NPS 模式可以选择把一个插槽当 1 个、2 个还是 4 个节点,选 NPS1 时跨 die 访问对操作系统透明,选 NPS4 时每个 die 一个节点。同一颗 CPU,换个 BIOS 选项,NUMA 的形态就变了。这也是为什么「我这是单路机器,不用管 NUMA」这句话经常不成立。

收益数字分两批。Oracle 当年在 8 路 Opteron 上跑 SPECjbb2005,32 位 JVM 吞吐提升约 30%,64 位约 40%。JEP 345 落地后,四节点、512 GB 堆的机器上跑 SPECjbb2015,Max-jOPS 提升 20.64%,Critical-jOPS 提升 9.52%,对比的是 JDK 14 的 b23 与 b24。

机制:内存有远近,页落在谁手里

NUMA 的全称是 Non-Uniform Memory Access,非统一内存访问。每个插槽挂自己那几根内存条,本插槽的核读本地内存走内存控制器,几十纳秒;读另一个插槽的内存,请求要先过片间互联,多一跳。

关键是这个「落在哪」在什么时候决定。Linux 默认的内存策略是 first touch:一块虚拟内存在第一次被写的时候才真正分配物理页,分配在触发这次缺页的那个 CPU 所属的节点上。

这条规则对 JVM 意味着什么,要顺着堆的增长看。JVM 启动时是一个线程在跑,它落在某个节点上,堆随着对象创建一段段提交,早期那些页就全落在这个节点。等业务线程起来,一半线程在另一个节点,它们分配的新对象,物理页按 first touch 落回自己那边。于是堆变成两半,一半近、一半远,比例取决于启动期的分配量和运行期的分配速率。

对象分配只是一半。GC 线程是并行扫全堆的,不管它跑在哪个节点,扫到另一半堆的时候都要跨互联读。堆越大、old gen 越大,这层跨节点流量越重。文章里提到的另一个效应是缓存一致性:跨插槽的 false sharing 惩罚比片内更重,因为一致性流量要过互联。这一点作者自己标了是经验判断,没做测量。

GC 线程数本身也是这台机器在替你做决定。HotSpot 按可用 CPU 数推并行 GC 线程数,两路机器给出的数字大,扫堆时同时跨节点读的线程也多。容器里更绕:JVM 读到的是 cgroup 限额算出来的 CPU 数,-XX:ActiveProcessorCount 可以覆盖它,但覆盖了只影响线程数,不影响内存页落在哪个节点。两件事经常被混着调,调完发现没效果,原因就在这里。

还有一个参数和 NUMA 交叉,很多人没意识到:-XX:+AlwaysPreTouch。打开它,JVM 启动时把整块堆的每一页都写一遍,这些写发生在启动线程所在的节点,整堆就钉在那一个节点上。不开的时候,页是运行期按分配线程 first touch 落位的,分布跟着分配走。打开它是为了让首请求延迟稳定,代价正好落在远端访问比例上。

机制:JVM 怎么猜「这个对象归谁」

HotSpot 的假设很朴素:分配对象的线程,最可能也是用它的线程。所以对象应该放在分配线程附近。

Parallel GC 的做法是把 eden 按节点切开,每个节点一份 eden,分配线程优先用自己那块的 region,其余空间跨节点交错分布。-XX:+UseNUMA 打开这套行为。

G1 的做法按 JEP 345 来:eden 和 survivor 的 region 按节点分组,分配时优先从本节点的空闲 region 里取。old gen 没做这层,晋升上去的对象就留在它原来那个 region 所在的节点。于是一个长寿对象如果在 A 节点分配、被 B 节点的线程长期访问,它会一直远着,GC 也不会帮你搬。

ZGC 是默认开的。JVM 只看到一个节点时它自己关掉,想手动关用 -XX:-UseNUMA。

三种收集器的差别落到一句话:只有「新对象」这一层被优化了。老年代、跨代引用、GC 线程的扫描路径,都不在这个开关的管辖范围内。

对照:三种收集器,三种态度

收集器 NUMA 行为 怎么开
Parallel GC eden 按节点分片,其余空间跨节点交错 -XX:+UseNUMA
G1 JDK 14 起 eden/survivor 的 region 按节点分组,old gen 不感知 -XX:+UseNUMA(仅 Linux)
ZGC 默认开启,单节点时自动关闭 默认,-XX:-UseNUMA 可关

再往上还有一层,不在 JVM 手里:进程绑核。一个堆放得进单个节点的服务,可以直接把 JVM 钉死在一个节点上:

numactl --cpunodebind=0 --membind=0 java -Xlog:gc+init -version

--cpunodebind 限定 CPU,--membind 限定内存。两个都绑,进程就完全活在一个节点里,跨节点访问归零,代价是另一半机器闲着。很多团队的做法更彻底:一台两路机器起两个 JVM,各绑一个节点,用两个端口对外,前面挂负载均衡。数据库和检索类服务里这种做法很常见。

还有一条中间路线:numactl --interleave=all,让页在所有节点上轮流分配。它放弃了局部性,换来带宽摊平,适合大范围扫内存、几乎不重复访问的负载。对 JVM 用这一条要留神,它连热点对象也一起铺开,本来该留在本地的那部分变成远端读,收益方向可能反过来。选哪条路,取决于你的工作集能不能装进一个节点。

影响:谁会真的撞上

第一类是双路机器上跑单个大堆 JVM 的团队。堆几十 GB、线程几百个、GC 用了 G1 或者 ZGC,启动时堆就提交了一大半。这类部署里「加一颗 CPU 反而变慢」是有可能发生的,因为新加的核带来的是远端访问,不是本地算力。

第二类是延迟敏感的服务。吞吐掉的 10% 可能被压测掩盖,p99 尾巴上的那几毫秒不会。远端读延迟多 40 多纳秒,一次请求里如果有几百次指针追逐,累起来就是几十微秒。

第三类是容器化之后。Kubernetes 里一个 Pod 看到的是 cgroup 给的 CPU 配额,不是物理拓扑。如果你的 Pod 被调度到跨两个节点的核上,JVM 照样按 first touch 分配,堆照样劈成两半。K8s 的拓扑管理器能对齐 CPU 和内存,但需要 static 策略加 Guaranteed QoS,而且节点上得配好 NUMA 策略。

第四类是云上。vCPU 背后的物理拓扑对用户不透明,同一台虚机上看到的「一个节点」可能只是宿主机一个节点的切片,也可能跨了。这一点没法从容器里看出来,只能靠压测对比。

小堆服务基本无感。堆能整个放进一个节点、线程数又不多的时候,跨节点访问本来就少,开不开那个开关差别在噪声里。文章也这么写:小堆看不到收益。

做容量规划的人还有一个账要算。买两路是为了核数,但内存带宽是按节点给的,跨节点访问还要占用互联带宽。一个把内存带宽吃满的负载,塞进两路机器不会得到两倍的带宽,能拿到的接近一个节点加上另一节点的一部分。评估的时候按「每节点带宽 × 节点数 × 折扣」算,比按「整机带宽」算更接近实际。

边界:这些数字能搬多远

那组 70 对 113--119 纳秒来自 E5-2665 那一代平台。今天的片间互联代际不同,跳数、带宽、预取策略都变了,绝对延迟不能照抄。能照抄的是比例的量级:跨插槽大约贵一半到七成。

30% 和 40% 是 SPECjbb2005 加 8 路 Opteron 的结果,基准很老,机器更老。它证明的是「NUMA 感知分配在这个负载上有用」,不能拿来预估你的服务。

20.64% 和 9.52% 是厂商跑的 SPECjbb2015,绝对分数只在图里,文章作者自己也是照着公开的百分比画的柱状图。同一篇里三个来源的数字混在一张图上,跨来源比较没有意义。

跨插槽 false sharing 那一条,作者明确说没做测量,属于经验判断。真要验证,得用 perf c2c 之类的工具在自己的负载上抓。

还有一个时效问题:文章讲 G1 的 NUMA 行为时,依据是 JDK 14 的实现。之后几个 LTS 有没有把 old gen 也纳进来,我没核实,这一条要按「截至 JDK 14」理解。

测量口径也要对上。70 对 113 那组数是空闲状态下的指针追逐延迟,也就是 Memory Latency Checker 意义上的「一次读要等多久」。真实负载里带宽往往是瓶颈,跨节点访问的影响会以排队时间的形式出现,不只是单次延迟乘以次数。空载测出来的比例,放到饱和的机器上不一定线性放大。

最后,「双路比单路慢」是可能性,不是定律。多数情况下两路仍然更快,只是没有达到线性。真正会退化的场景有前提:堆大到跨节点、线程在两个节点之间分、访问模式又是随机指针追逐。

收尾:先量,再开开关

顺序别倒。先 numactl --hardware 看距离表和节点内存,确认这台机器确实是多节点;再在真实负载下用 numastat -p <pid> 看这个进程的内存分布,numa_hit 和 numa_foreign 的比例会告诉你跨节点访问有多重。

远端占比很低,开关不用动,动了也是噪声。远端占比高,再按「开 -XX:+UseNUMA → 试绑核 → 一个节点一个 JVM」的顺序试,每一步都 A/B。

下一次采购的时候,可以顺手问一句:这台两路机器的内存插满了吗,插法是每个节点对称的吗。不对称的插法会让「加了一颗 CPU」变成「加了一颗只能远程取内存的 CPU」。

来源:

相关推荐
Gopher_HBo14 分钟前
mprof.go全程跟拍-跟着一个请求走完四种采集
后端
吃我一窝jio42 分钟前
Java Bug复盘与性能优化实战
java·开发语言·笔记
tong_li1 小时前
给娃做个 AI 陪写作业助手:LangChain4j 入门(三):配本古诗书(RAG 入门),答得不瞎编
后端
用户48678952533901 小时前
多租户第二集:读隔离做完之后,写路径才是真坑
后端
Flynn Liang1 小时前
Java 序列化也能成为瓶颈:Jackson、Protobuf 与 Redis 序列化的生产实践
java·redis·性能优化·jackson·序列化·protobuf
Yeats_Liao1 小时前
物联网平台优化系列(三):全局懒加载吞掉 MQTT 初始化
java·物联网·struts
bai2731 小时前
同一个 1.005,toFixed 给 1.00、Math.round 给 1、Intl 给 1.01:999 个三分位小数的实测
javascript·后端
千寻技术帮1 小时前
基于Spring Boot+Vue的农产品销售管理系统(源码+文档+数据库,附部署教程)
java·数据库·spring boot·后端·mysql·vue
好用斋2 小时前
拾光坞G2使用新版Docker懒人包:一键安装、一键升级、一键卸载
java·docker·容器