问题描述

针对训练模型控制台的web后端维护，新增了一个int类型的maxTokenLimit字段，表示调用GPT模型请求允许的TokenSize上限值。后端添加好之后，数据库里面这个字段项没有填充数值，默认是空，所以理论上当maxTokenLimit字段为空的时候，应该传输的Json内容为maxTokenLimit: null ，但是前端那边F12查看，反馈接收到后端传参里面并没有这个字段。

先说结论

FastJson里面有个序列化项的设置，为了节省存储和网络带宽的占用，默认当字段为空的时候，不对这个字段进行传输，导致前端看不到这个maxTokenLimit字段项。

一、后端需求研发过程

1.修改数据库表增加对应maxTokenLimit字段

确定字段数据范围，类型为整形，目前已知的GPT模型请求tokenSize有些会到32k，也就是32*1024 = 2^15 = 32768，为后面出了更大的工程上的请求size留出余量，针对Mysql整形数据类型信息查找，我这里使用了MEDIUMINT类型。

对应执行DDL类型的SQL语句，工单审批通过后进行表结构修改

sql 复制代码

ALTER TABLE model_config  
ADD COLUMN max_token_limit MEDIUMINT comment '最大token长度';

补充问题：我怎么知道我传进去的整形数值存储形式是有符号还是无符号的呢？

回答：其实在MySQL中，MEDIUMINT 数据类型默认是有符号的整数类型，如果你想存储无符号整数类型，你需要在定义列时明确指定 UNSIGNED 关键字。要确定存储在数据库中的 MEDIUMINT 类型是有符号还是无符号，你可以查看表的列定义。下面链接提供了三种方法作为参考：

Mysql查看字段数据类型

我这里采用的是使用数据字典查询的方式：

ini 复制代码

SELECT COLUMN_NAME, COLUMN_TYPE, IS_NULLABLE 
FROM information_schema.COLUMNS
WHERE TABLE_NAME = 'all_model_config' AND COLUMN_NAME = 'max_token_limit';

查出来的结果如下，发现它是有符号的

2.后端工程补充字段CRUD能力

less 复制代码

    @ApiOperation("查询配置")
    @RequestMapping(value = "/all", method = RequestMethod.GET)
    public ModelConfigListVO<ModelConfigVO> getModelConfig() {
        return modelConfigService.getAllModelConfig();
    }

Mybatis修改mapper映射

二、问题排查

1.本地debug断点调试，查看日志输出

一路debug显示过程中的maxTokenLimit字段，发现它一直是存在的，并且值为null

并且中途偶然发现了一个奇怪的现象我在调试的时候加入了一个系统的print函数显示结果和JSON.toString()结果进行对比第一种输出 ----- 系统的print函数输出

vbscript 复制代码

System.out.println(allModelConfigList.toString());

第二种输出------JSON.toString()输出

less 复制代码

System.out.println(JSON.toJSONString(allModelConfigList.getModelConfigVOList());

发现上面第一行代码打印出的内容包括maxTokenLimit: null 然而第二行代码打印出的内容不包括maxTokenLimit这个字段

那么问题可能就出在最后的后端JSON网络序列化传输上

2.查询相关JSON序列化配置

发现项目里面添加了配置，使用的是FastJson工具，而不是java默认的json序列化。然后查询FastJson的序列化配置文档，发现有个关于null输出的属性--WriteMapNullValue

询问了GPT如何利用JSON.toJSONString输出空值对应的字段，它提示新增一个SerializerFeature.WriteMapNullValue 参数，让我修改全局配置或者局部配置。

less 复制代码

System.out.println(JSON.toJSONString(allModelConfigList.getModelConfigVOList(), SerializerFeature.WriteMapNullValue));

改完执行后发现确实达到了预期的效果，并且这个配置是针对单次调用的局部配置。

三、最终解决方案

其实工程上为了节约资源，利用FastJson默认的设置，不对值为null的字段进行传输，是比较合理的（你猜它为什么叫FastJson? ) ，所以我就没有更改它的全局配置。所以最后就交给前端进行兼容性设计了，当我后端确实有这个maxTokenLimit字段，并且当前端发现传输的时候没收到这个maxTokenLimit字段的时候，前端那边就显示为空就行。

总结

当后端某个字段值为null的时候，如果是利用FastJson工具，它默认的序列化设置是WriteMapNullValue属性为false，也就是为了节省存储和网络带宽的占用，不会对这个字段进行传输，最后导致前端看不到这个maxTokenLimit字段项，这个时候可以交给前端进行兼容性设计，发现传输的时候没收到这个对应字段的时候，前端那边就显示为空就行。

【记录工作中一次FastJson踩坑经历】

问题描述

先说结论

一、后端需求研发过程

1.修改数据库表增加对应maxTokenLimit字段

2.后端工程补充字段CRUD能力

二、问题排查

1.本地debug断点调试，查看日志输出

2.查询相关JSON序列化配置

三、最终解决方案

总结