PostgreSQL 同步到 ES 后时间类型少了 8 小时

简述

最近我致力于实现 PostgreSQL 到 Elasticsearch(ES)的实时同步功能。

在源端,我利用 PostgreSQL(PG)的 Write-Ahead Logging(WAL)日志来实现实时同步,将 WAL 转换为 ES 的相关写入操作。

源端 PG 数据库和 ES 均采用 UTC 时区,因此 Timestamp 类型的同步应该无需进行任何处理。

然而,在将数据写入 ES 后,我们却发现 Timestamp 类型的数值少了 8 个小时。

原因分析

首先,让我们梳理一下整个同步链路:

PG 的数据经过 SYNC 程序处理,然后同步到 ES。

经过初步分析,我们得出两个可能的原因:

  1. ES 中的时间存储正确,而 Kibana 使用的是浏览器的时区(Asia/Shanghai)。
  2. SYNC 程序在处理时间时出现了问题。

在 Kibana 设置中查看后,发现其设置为 UTC,即不会默认进行任何时区转换,因此我们推断问题出现在 SYNC 程序的时间处理中。

代码分析

在处理时间类型的代码中,存在以下逻辑,首先会使用parseDate方法将时间类型的字符串转换为DateTime:

java 复制代码
public static DateTime parseDate(String datetimeStr) {
    // ... 省略部分代码 ...
    try {
        return new DateTime(datetimeStr);
    } catch (IllegalFieldValueException e) {
        String errMsg = "Parse date fail, Root cause is " + ExceptionUtils.getRootCauseMessage(e);
        log.error(errMsg);
        throw e;
    }
}

通过调试,我们发现在parseDate后,时间减少了 8 小时。

源码分析

TimeZone.getDefault()是 JDK 自带的方法:

获取 Java 虚拟机的默认时区。

如果缓存的默认时区可用,则返回其克隆。

否则,该方法采取以下步骤来确定默认时区。

使用默认时区的风险

当JVM中的user.timezone变量未设置值时,根据上述源码分析,将读取系统的默认时区。

风险就出在这里,如果系统安装时时区未正确设置,将导致程序获取的默认时区与预期不符,从而引发异常。

在 Java 程序中设置时区

  1. 在 Java 程序启动时,在 JVM 参数中添加-Duser.timezone=UTC。
  2. 在程序首次启动时,使用TimeZone.setDefault()来设置时区。
相关推荐
张明君644512 分钟前
在 Astro SSR 项目中实现服务启动前初始化
前端·后端
用户9338104348455 分钟前
MyBatis-Plus LambdaQueryWrapper 隐式转换踩坑:不知不觉索引失效
java
用户37215742613511 分钟前
Java 在 PDF 中查找关键词:获取页码和坐标,并高亮匹配结果
java
用户37215742613518 分钟前
Java 删除 Excel 重复行:整行去重、按单列和多列去重
后端
Forget the Dream37 分钟前
Spring AI 2.0 系列(三):ChatClient 与 ChatModel:Spring AI 2.0 的两层职责
java·人工智能·spring·springai
AI入职记1 小时前
RAG 一个请求吃掉 8 个核,chat 只要 0.16 个
后端·ai编程
aurora_zjj1 小时前
Nginx $request_length 为什么会变成负数?一次流量统计异常的源码排查
后端
旋律4141 小时前
布隆过滤器(Bloom Filter)
后端
站大爷IP2 小时前
Python的构造方法把我坑惨了,原来__new__和__init__的区别这么大
后端
Gopher_HBo2 小时前
一串裸 uint64,怎么攒成一份 pprof 文件?
后端