聊聊多个节点实例数据同步如何触发

前言

之前写过一篇文章聊聊在集群环境中本地缓存如何进行同步,今天聊的话题看着和那篇文章有点雷同,不过我们今天重点会放在方法论上,也不会拘泥于具体实现。在聊这个话题之前,大家可以思考一下,如果要实现多个实例数据同步触发,大家会怎么做?脑海里,是会浮现,我可以用消息队列或者定时器来实现?这种已经具象化的技术细节?还是进一步进行拆解?

假设大家已经思考好,我来说下我个人的思考逻辑。今天标题的内容,主要讲同步如何触发?内容已经圈定死,因此就不谈数据同步涉及的一致性,只谈如何触发这个动作。多节点实例触发的关键是,一旦触发,各个节点都要通知到位。那如何进行多个节点通知呢?答案就是通过广播 。那如何感知是否通知到位呢?这个还真不好搞,那我们换个思路,如果通知不到位,我们的措施会是啥?正常我们的思路,会是通过补偿机制

今天我们聚焦在广播这个动作,补偿机制暂不在本文讨论。下面通过一个案例实操下

本案例核心流程图

从图中,我们会发现本案例是通过一个中间件来实现。那这个中间件是啥?是rocketmq、kafka还是其他具有广播功能的组件或者服务?答案是也不是。怎么说?我们这个中间件,其实是一层高层广播抽象,而非具体实现

实现步骤

1、定义高层广播抽象接口

java 复制代码
@FunctionalInterface
public interface DataSyncTrigger {

    void broadcast(Object data);
}

2、定义通知事件类

注: 本文会采用spring的事件监听模式实现

java 复制代码
public class DataSyncTriggerEvent extends ApplicationEvent {
    /**
     * Create a new ApplicationEvent.
     *
     * @param source the object on which the event initially occurred (never {@code null})
     */
    public DataSyncTriggerEvent(Object source) {
        super(source);
    }
}

3、定义高层抽象广播的模板基类

java 复制代码
@RequiredArgsConstructor
public abstract class BaseDataSyncTrigger implements DataSyncTrigger, ApplicationContextAware {
    protected ApplicationContext applicationContext;
    
    protected final DataSyncTriggerProperty dataSyncTriggerProperty;


    @Override
    public void broadcast(Object data) {
        DataSyncTriggerEvent dataSyncTriggerEvent = new DataSyncTriggerEvent(data);
        applicationContext.publishEvent(dataSyncTriggerEvent);
    }

    @Override
    public void setApplicationContext(ApplicationContext applicationContext) throws BeansException {
        this.applicationContext = applicationContext;
    }

    private Collection<DataSyncTriggerCallBack> listDataSyncTriggerCallBacks(){
        try {
            Map<String, DataSyncTriggerCallBack> dataSyncTriggerCallBackMap = applicationContext.getBeansOfType(DataSyncTriggerCallBack.class);
            return Collections.unmodifiableList(dataSyncTriggerCallBackMap.values().stream().collect(Collectors.toList()));
        } catch (BeansException e) {

        }

        return Collections.emptyList();
    }
    
    public void callBack(Object data){
        Collection<DataSyncTriggerCallBack> dataSyncTriggerCallBacks = listDataSyncTriggerCallBacks();
        if(CollectionUtil.isNotEmpty(dataSyncTriggerCallBacks)){
            if(dataSyncTriggerProperty.isTriggerCallBackAsync()){
                callbackAsync(data, dataSyncTriggerCallBacks);
            }else{
                callbackSync(data, dataSyncTriggerCallBacks);
            }
          
        }
    }

    private  void callbackSync(Object data, Collection<DataSyncTriggerCallBack> dataSyncTriggerCallBacks) {
        for (DataSyncTriggerCallBack dataSyncTriggerCallBack : dataSyncTriggerCallBacks) {
            dataSyncTriggerCallBack.execute(data);
        }
    }

    private  void callbackAsync(Object data, Collection<DataSyncTriggerCallBack> dataSyncTriggerCallBacks) {
        for (DataSyncTriggerCallBack dataSyncTriggerCallBack : dataSyncTriggerCallBacks) {
            ThreadUtil.execAsync(()->{
                dataSyncTriggerCallBack.execute(data);
            });
        }
    }
}

4、定义抽象回调接口【扩展点】

当业务收到通知,可以通过该回调接口进行具体业务操作

java 复制代码
@FunctionalInterface
public interface DataSyncTriggerCallBack {

    void execute(Object data);
}

5、定义具体广播实现类

注: 这个广播的具体实现方案就很多了,只要天生具备广播能力或者基于原来特性扩展出广播的组件都可以,比如rocketmq的广播机制、redis的pubsub机制、zookeeper的分布式协调能力、基于注册中心服务发现能力改造出来的广播能力等。本文就以redis的pubsub机制为例

java 复制代码
Slf4j
public class RedisDataSyncTrigger extends BaseDataSyncTrigger implements CommandLineRunner {


    private final RedisTemplate redisTemplate;
    

    public RedisDataSyncTrigger(RedisTemplate redisTemplate, DataSyncTriggerProperty dataSyncTriggerProperty) {
        super(dataSyncTriggerProperty);
        this.redisTemplate = redisTemplate;
    }

    @EventListener
    public void listener(DataSyncTriggerEvent dataSyncTriggerEvent){
        SyncDataDTO syncDataDTO = SyncDataDTO.builder()
                .data(dataSyncTriggerEvent.getSource())
                        .timeStamp(System.currentTimeMillis())
                                .build();
        try {
            redisTemplate.convertAndSend(REDIS_CHANNEL_KEY, syncDataDTO);
        } catch (Exception e) {
           log.error("redis publish channel 【" + REDIS_CHANNEL_KEY + "】 fail,cause:" + e.getMessage(),e);
        }
    }


    @Override
    public void run(String... args) throws Exception {
        doSubscribe();
    }

    @SneakyThrows
    private void doSubscribe() {
        RedisConnection connection = redisTemplate.getConnectionFactory().getConnection();
        RedisMessageListener redisMessageListener = applicationContext.getBean(RedisMessageListener.class);
        connection.subscribe(redisMessageListener,REDIS_CHANNEL_KEY.getBytes("utf-8"));
        log.info(">>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> Register listen channel : 【{}】",REDIS_CHANNEL_KEY);
    }
}

具体redis订阅监听实现

java 复制代码
@RequiredArgsConstructor
@Slf4j
public class RedisMessageListener implements MessageListener{

    private final BaseDataSyncTrigger baseDataSyncTrigger;

    private final RedisTemplate redisTemplate;


    @Override
    public void onMessage(Message message, byte[] pattern) {
        byte[] body = message.getBody();
        String dataJson = StrUtil.str(body, "utf-8");
        if(JSONUtil.isJson(dataJson)){
            try {
                SyncDataDTO dataDTO = (SyncDataDTO) redisTemplate.getHashValueSerializer().deserialize(body);
                baseDataSyncTrigger.callBack(dataDTO.getData());
            } catch (Exception e) {
                log.error(e.getMessage(),e);
            }
        }else{
            log.warn(">>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> Data 【{}】 is not match json format !!!",dataJson);
        }

    }
}

6、测试验证

a、编写业务逻辑类

java 复制代码
@Service
@RequiredArgsConstructor
@Slf4j
public class DataService {

    private List<Object> dataList = new CopyOnWriteArrayList<>();

    private final RedisTemplate redisTemplate;

    private final BaseDataSyncTrigger dataSyncTrigger;

    public boolean add(String data){
        try {
            Long count = redisTemplate.opsForList().leftPush(RedisConstant.REDIS_LIST_KEY, data);
            if(count > 0){
                dataSyncTrigger.broadcast(data);
                return true;
            }
        } catch (Exception e) {
           log.error("add fail:" + e.getMessage(),e);
        }

        return false;

    }

    public List<Object> getDataList(){
        return dataList;
    }
}

b、编写业务控制器

java 复制代码
@RestController
@RequestMapping("data")
@RequiredArgsConstructor
public class DataController {
    


    private final DataService dataService;

    @GetMapping("add/{data}")
    public String syncData(@PathVariable("data") String data){
        boolean isSuccess = dataService.add(data);
        return isSuccess ? "success" : "fail";
    }

    @GetMapping("list")
    public List<Object> listData(){
        return dataService.getDataList();
    }
}

c、编写业务回调类

java 复制代码
@Component
@RequiredArgsConstructor
@Slf4j
public class LocalListDataSyncTriggerCallBack implements DataSyncTriggerCallBack {

    private final DataService dataService;

    @Override
    public void execute(Object data) {
        dataService.getDataList().add(data);
        log.info(">>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> Sync data:-->{}",data);
    }
}

d、小细节

注: 当项目重启时,本地存储容器是没内容的,因此需要在项目重启时,写一个钩子,从其他缓存介质将数据刷到本地存储中

java 复制代码
@Component
@RequiredArgsConstructor
@Slf4j
public class DataInitTask implements CommandLineRunner {

    private final RedisTemplate redisTemplate;

    private final DataService dataService;


    @Override
    public void run(String... args) throws Exception {
        List redisDataList = redisTemplate.opsForList().range(RedisConstant.REDIS_LIST_KEY, 0, -1);
        if(CollectionUtil.isNotEmpty(redisDataList)){
            dataService.getDataList().addAll(redisDataList);
            log.info(">>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> Loaded data from redis finished!!!");
        }

    }


}

e、测试

从一个节点(示例:54860端口)添加数据,如图

观察其他节点(示例:59829端口)本地存储是否接收到数据

从图可以发现已经收到数据,同时我们观察控制台 可以看出业务回调已经触发

总结

本文介绍了通过redis pubsub实现广播效果,示例代码中也提供基于注册中心以及配置中心apollo来实现广播的效果。基于篇幅就不再论述了,感兴趣的朋友,可以查看下方demo链接。本文除了介绍多个节点实例数据同步如何触发之外,其实还有实现一个通用组件套路原则--依赖倒置原则。高层定义抽象,程序依赖高层抽象,也不依赖具体实现,这样后续才比较好扩展

demo链接

github.com/lyb-geek/sp...

相关推荐
hanbarger3 分钟前
nosql,Redis,minio,elasticsearch
数据库·redis·nosql
弗罗里达老大爷29 分钟前
Redis
数据库·redis·缓存
DT辰白15 小时前
基于Redis的网关鉴权方案与性能优化
数据库·redis·缓存
木子七16 小时前
Redis-十大数据类型
redis
黄油饼卷咖喱鸡就味增汤拌孜然羊肉炒饭18 小时前
聊聊volatile的实现原理?
java·jvm·redis
灯火不休➴19 小时前
[Redis] 在Linux中安装Redis并连接图形化工具详细过程(附下载链接)
linux·数据库·redis
呆呆小雅1 天前
C#关键字volatile
java·redis·c#
miss writer1 天前
Redis分布式锁释放锁是否必须用lua脚本?
redis·分布式·lua
亽仒凣凣1 天前
Windows安装Redis图文教程
数据库·windows·redis
希忘auto1 天前
详解Redis的常用命令
redis·1024程序员节