记一次对接第三方数据，存入数据库后清洗数据，数据重复

wit_cx2024-04-17 11:07

一现象：

对接第三方数据，先全量存入数据库，然后进行跑批清洗，在清洗过程中发现每次都有不同条数的数据重复。

二根本原因：

就是数据库中有的重复的字段条数存在空格，有的没有。

java 复制代码

        QueryWrapper<DDeviceType> queryWrapper = new QueryWrapper<>();
        queryWrapper.eq("protocol_type",zhttVhc.getTerminalModel());
        if(StringUtils.isNotBlank(zhttVhc.getEquipmentmodel())) {
            queryWrapper.eq("device_model", zhttVhc.getEquipmentmodel());
        }else {
            queryWrapper.isNull("device_model");
        }
        DDeviceType dDeviceType = dDeviceTypeMapper.selectOne(queryWrapper);
        if (Objects.isNull(dDeviceType)) {
            deviceType.setProtocolType(zhttVhc.getTerminalModel());
            if (StringUtils.isNotBlank(zhttVhc.getEquipmentmodel())) {
                deviceType.setDeviceModel(zhttVhc.getEquipmentmodel().trim());
            }
            deviceType.setCommunicationModel(zhttVhc.getCommunicationMode());
            deviceType.setLocationModel(zhttVhc.getPositionMode());
            deviceType.setCreatetime(now);
            deviceType.setUpdateTime(now);

三解决办法：

之前是有发现数据存在空格，当时只是把插入时候去掉了空格，通过查询并插入时，查询没有去空格判断。

解决一是：queryWrapper.eq("device_model", zhttVhc.getEquipmentmodel().trim()); 查询这一行也加入去空格。

解决二是（根本办法）：在存入数据时，就去掉所有空格。