go-zero使用elasticsearch踩坑记:时间存储和展示问题

文章目录

问题描述

《go-zero中使用elasticsearch的示例》 这篇文章中演示了通过go写入ES的示例,但是里面存在一个细节问题,就是写入的时间和ES展示的时间相差8小时的问题。比如下面这样,我写入ES的时候,时间是当前时间2025-04-02 14:32:00

然后,进去到kibana页面查看数据的时候,会发现时间超前了8个小时,结果是Apr 2, 2025 @ 22:32:00.000

导致这个问题的原因是时区设置的问题。由于写入到ES的时候没有特别设置具体的时区,ES会当成UTC时间处理,也就是认为写入的时间是UTC的2025-04-02 14:32:00,然而北京时间比UTC时间晚8个小时,那么,可以推测kibana页面上看到的应该是北京时间。

接下来验证一下这个推断,进入kibana的设置页面,查看Timezone for date formatting部分,如下:

可以看到显示的是Browser,也就是获取的浏览器所在的时区,就是验证了上面的推测。

解决思路

修改kibana时区设置

可以通过修改上面的 Timezone for date formatting 改为 UTC时间,即可正常显示写入时候的时间:

修改后,再次查看之前写入的数据就显示正常了:

修改索引结构

之前配置的写入ES的索引中,关于时间的部分是 {"type": "date", "format": "yyyy-MM-dd HH:mm:ss"}

复制代码
{
    "mappings": {
        "properties": {
            "menu_id": {"type": "long"},
            "url": {"type": "keyword"},
            "content": {"type": "keyword"},
            "user_id": {"type": "long"},
            "create_time": {"type": "date", "format": "yyyy-MM-dd HH:mm:ss"}
        }
    }
}

上面的"format": "yyyy-MM-dd HH:mm:ss" 是为了写入ES的格式是我们日常习惯的年-月-日 时:分:秒 的格式,现在写入的时候需要去掉这里的format,改为 "create_time": {"type": "date"}

修改后需要删除原来的索引,重新建立索引,或者使用新的索引。这里我改为使用新的索引,写入的时间内容需要改为2025-04-03T16:44:11+08:00 这样的格式:

go 复制代码
// 将当前时间戳转换为 time.Time 类型
timeData := time.Unix(time.Now().Unix(), 0)
// 格式化时间为字符串
timeString := timeData.Local().Format(time.RFC3339)
fmt.Println("timeString", timeString)

测试如下:

接下来,把刚才修改的kibana的Timezone for date formatting 改回默认的Browser,查看kibana页面上的数据:

可以看到,已经解决了问题,而且推荐使用这样的方式,因为写入的时候就指定了时区+08:00,这样将来如果需要展示为其它时区也比较合理。

还有一个细节,就是我想把kibana首列的Apr 3, 2025 @ 16:44:11.000 改为2025-04-03 16:44:11 这样的格式。需要修改刚才的设置里面的

Date format,默认是MMM D, YYYY @ HH:mm:ss.SSS,改为yyyy-MM-DD HH:mm:ss 即可。

修改后,再次查看kibana中的数据:

相关推荐
小伍_Five16 分钟前
spark数据处理练习题详解【下】
java·大数据·spark·scala
你的坚持终将美好,17 分钟前
elasticsearch kibana ik 各版本下载
大数据·elasticsearch·搜索引擎
Pluto_CSND2 小时前
hbase shell的常用命令
大数据·数据库·hbase
API_technology2 小时前
阿里巴巴 1688 数据接口开发指南:构建自动化商品详情采集系统
大数据·运维·数据挖掘·自动化
菠萝崽.3 小时前
Elasticsearch进阶篇-DSL
大数据·分布式·elasticsearch·搜索引擎·全文检索·jenkins·springboot
{⌐■_■}3 小时前
【kafka】kafka概念,使用技巧go示例
golang·kafka·linq
Villiam_AY4 小时前
Go 后端中双 token 的实现模板
开发语言·后端·golang
L耀早睡5 小时前
Spark缓存
大数据·数据库·spark
461K.5 小时前
写spark程序数据计算( 数据库的计算,求和,汇总之类的)连接mysql数据库,写入计算结果
大数据·分布式·spark
caihuayuan45 小时前
鸿蒙AI开发:10-多模态大模型与原子化服务的集成
java·大数据·sql·spring·课程设计