Go Json Unmarshal(反序列化) 丢失数字精度

现象

  • 业务会使用 id生成器 产生的 分布式唯一ID,长度比较长。代码反序列化时,出现精度丢失,导致线上故障。
go 复制代码
package main

import (
   "testing"
   "time"
   "github.com/bytedance/sonic"
   "github.com/stretchr/testify/assert"
)

func TestPrintAttr(t *testing.T) {
   amap := map[string]any{
      "psm_businessline_ref": map[string]any{
         "id": 1691071059696833999,
      },
   }

   amapStr, err := sonic.MarshalString(amap)
   assert.Nil(t, err)

   t.Log("\n", amapStr)

   m1 := make(map[string]any)
   err = sonic.UnmarshalString(amapStr, &m1)
   assert.Nil(t, err)
}

原因

  1. 反序列化时,对于数值类型的value,默认会反序列化成float64类型。
  2. float64可以存储的最大整数是52位尾数全位1且指数部分为最大 0x07FEF FFFF FFFF FFFF
ini 复制代码
(0x001F FFFF FFFF FFFF)16 = (9007199254740991)10 
(0x07EF FFFF FFFF FFFF)16 = (9218868437227405311)10 

也就是理论上数值超过9007199254740991(长度=16)就可能会出现精度缺失。

10进制数值的有效数字是16位,一旦超过16位大概率会有缺失精度的问题

一般分布式唯一id是20位长度,所以必然出现精度缺失。

参考:

解决方案

  • 使用 json.Decoder 来代替 json.Unmarshal 方法
go 复制代码
package main

import (
   "testing"
   "time"
   "github.com/bytedance/sonic"
   "github.com/stretchr/testify/assert"
)


func TestPrintAttr(t *testing.T) {
   amap := map[string]any{
      "psm_businessline_ref": map[string]any{
         "id": 1691071059696833999,
      },
   }

   amapStr, err := sonic.MarshalString(amap)
   assert.Nil(t, err)

   t.Log("\n", amapStr)

   rightM := make(map[string]any)
   if len(amapStr) > 0 {
      de := jsoniter.NewDecoder(bytes.NewReader([]byte(amapStr)))
      de.UseNumber()
      err := de.Decode(&rightM)

      if err != nil {
         t.Fatal(err)
      }
   }
   
}

json.Number本质是string,反序列化的时候将json的数值转成字符串 ,而字符串不会有精度丢失问题,所以没有问题。json.Number如下:

go 复制代码
package json
// A Number represents a JSON number literal.
type Number string
相关推荐
明月_清风8 小时前
从二叉树到 B+ 树:一文搞懂工程中「树」的演化之道
数据结构·算法·go
2601_962066939 小时前
短视频批量制作怎么做?2026年用 huasheng-cli 的 --json 与退出码,一张选题表批量出片
json·音视频
江湖十年9 小时前
在 Go 中使用 dyno 包处理动态对象
后端·面试·go
a187927218319 小时前
【算法】回溯算法(三):三记重锤与 N 皇后——记忆化、状态设计与三层漏斗
算法·leetcode·go·剪枝·回溯·n皇后·算法讲解
纪卓志George10 小时前
打破语言范式:在 Go 里用动态代理实现 AOP
架构·go
码艺-Alimjan17 小时前
维吾尔语数字转文本
java·javascript·python·算法·go
名字还没想好☜19 小时前
Go 时间格式化为什么用 2006-01-02:time.Format/Parse 的参考时间、时区与解析踩坑
开发语言·后端·golang·go
oliver_sys_log1 天前
老项目 json-lib 2.4 JSONTokener 精度丢失问题排查
json
我的div丢了肿么办1 天前
go语言中的map,map定义不同的数据类型,循环map,map的无序性
后端·go
IT_Octopus2 天前
JSON 日志里的 `{“$ref“:“$.xxx“}`:从 fastjson 兼容包到原生 fastjson2 的迁移实录
开发语言·python·json