JAVA如何处理各种批量数据入库(BlockingQueue)

JAVA如何处理各种批量数据入库(BlockingQueue)

这里我推荐大家使用BlockingQueue,该队列为阻塞队列

将数据先写入队列中,然后开启多个消费线程慢慢消费入库。从队列中消费数据有两种方式:

复制代码
 单条消费

 批量消费
一、案例:人脸识别设备---开门记录(批量消费)
1.创建队列
java 复制代码
@Component
public class RequestQueue<T> {
   
	/**
	* 获取开门记录队列
	*/
    BlockingQueue<JSONObject> blockingQueue = new ArrayBlockingQueue<>(1000000,true);
    
     
    /**
     * 获取请求队列数据
     */
    public BlockingQueue<JSONObject> getBlockingQueue(){
        return blockingQueue;
    }
   
    
    
    /**
     * 保存数据进入队列
     */
    public void putJsonDataQueue(JSONObject jsonObject){
        try {
            getBlockingQueue().put(jsonObject);

        }catch (Exception e){
            e.printStackTrace();
        }

    }
    
}
2.创建消费队列任务
java 复制代码
@Component
public class DoorOpeningRecordTask extends Thread{
    @Autowired
    private RequestQueue requestQueue;

    @Autowired
    private DoorOpeningRecordService doorOpeningRecordService;

    @Override
    public void run(){
        while(true){
            try {
                //取出信息列表
                List<JSONObject> list = new ArrayList<>();
                //参数列表: 获取队列  数据  批量处理一百条  500毫秒
                Queues.drain(requestQueue.getBlockingQueue(), list, 100, 500, TimeUnit.MILLISECONDS);
                //对数据进行保存
                doorOpeningRecordService.save(list);

            }catch (Exception e){
                e.printStackTrace();
            }

        }

    }


}
3.监听队列信息
java 复制代码
@Component
public class QueueListener {
    
    @Autowired
    private DoorOpeningRecordTask doorOpeningRecordTask;

    /**
     * 初始化时启动监听请求队列
     */
    @PostConstruct
    public void init() {
        doorOpeningRecordTask.start();
    }

    /**
     * 销毁容器时停止监听任务
     */
    @PreDestroy
    public void destory() {
       
        doorOpeningRecordTask.interrupt();
    }

}
相关推荐
一枚小小程序员哈2 小时前
基于springboot的零食商城的设计与实现/零食销售系统的设计与实现
java·spring boot·spring·tomcat·maven
qqxhb2 小时前
零基础数据结构与算法——第六章:算法设计范式与高级主题-设计技巧(上)
java·数据结构·算法·分解·空间换时间·时空平衡
野生技术架构师2 小时前
系统改造:一次系统领域拆分的实战复盘
java·大数据·开发语言
一碗绿豆汤2 小时前
JAVA+AI教程-第四天
java·开发语言·人工智能
YuTaoShao2 小时前
【LeetCode 热题 100】34. 在排序数组中查找元素的第一个和最后一个位置——二分查找
java·数据结构·算法·leetcode
典孝赢麻崩乐急2 小时前
Java学习-----如何创建线程
java·学习
shepherd1112 小时前
从List与Tree相互转换工具类实现中谈谈菜鸟到老鸟的一些思考
java·后端·代码规范
笑衬人心。2 小时前
对象的创建过程
java·jvm
佩奇大王2 小时前
java String类
java·开发语言
Acqierement2 小时前
idea运行tomcat日志乱码问题
java·tomcat·intellij-idea