JAVA如何处理各种批量数据入库(BlockingQueue)

JAVA如何处理各种批量数据入库(BlockingQueue)

这里我推荐大家使用BlockingQueue,该队列为阻塞队列

将数据先写入队列中,然后开启多个消费线程慢慢消费入库。从队列中消费数据有两种方式:

复制代码
 单条消费

 批量消费
一、案例:人脸识别设备---开门记录(批量消费)
1.创建队列
java 复制代码
@Component
public class RequestQueue<T> {
   
	/**
	* 获取开门记录队列
	*/
    BlockingQueue<JSONObject> blockingQueue = new ArrayBlockingQueue<>(1000000,true);
    
     
    /**
     * 获取请求队列数据
     */
    public BlockingQueue<JSONObject> getBlockingQueue(){
        return blockingQueue;
    }
   
    
    
    /**
     * 保存数据进入队列
     */
    public void putJsonDataQueue(JSONObject jsonObject){
        try {
            getBlockingQueue().put(jsonObject);

        }catch (Exception e){
            e.printStackTrace();
        }

    }
    
}
2.创建消费队列任务
java 复制代码
@Component
public class DoorOpeningRecordTask extends Thread{
    @Autowired
    private RequestQueue requestQueue;

    @Autowired
    private DoorOpeningRecordService doorOpeningRecordService;

    @Override
    public void run(){
        while(true){
            try {
                //取出信息列表
                List<JSONObject> list = new ArrayList<>();
                //参数列表: 获取队列  数据  批量处理一百条  500毫秒
                Queues.drain(requestQueue.getBlockingQueue(), list, 100, 500, TimeUnit.MILLISECONDS);
                //对数据进行保存
                doorOpeningRecordService.save(list);

            }catch (Exception e){
                e.printStackTrace();
            }

        }

    }


}
3.监听队列信息
java 复制代码
@Component
public class QueueListener {
    
    @Autowired
    private DoorOpeningRecordTask doorOpeningRecordTask;

    /**
     * 初始化时启动监听请求队列
     */
    @PostConstruct
    public void init() {
        doorOpeningRecordTask.start();
    }

    /**
     * 销毁容器时停止监听任务
     */
    @PreDestroy
    public void destory() {
       
        doorOpeningRecordTask.interrupt();
    }

}
相关推荐
緈諨の約錠28 分钟前
JVM基础篇以及JVM内存泄漏诊断与分析
java·jvm
Slaughter信仰30 分钟前
深入理解Java虚拟机:JVM高级特性与最佳实践(第3版)第十三章知识点问答(15题)
java·开发语言·jvm
Java进阶笔记33 分钟前
JVM默认栈大小
java·jvm·后端
shan&cen1 小时前
Day04 前缀和&差分 1109. 航班预订统计 、304. 二维区域和检索 - 矩阵不可变
java·数据结构·算法
在线教学养猪1 小时前
Spring Task
java·后端·spring
_hermit:1 小时前
【从零开始java学习|小结】记录学习和编程中的问题
java·学习
小柯J桑_1 小时前
C++之特殊类设计
java·开发语言·c++
菜鸟plus+1 小时前
Java NIO
java·nio
君不见,青丝成雪1 小时前
Java中IntStream的详细用法及典型案例
java
QiZhang | UESTC1 小时前
JAVA算法练习题day11
java·开发语言·python·算法·hot100