JAVA如何处理各种批量数据入库(BlockingQueue)

JAVA如何处理各种批量数据入库(BlockingQueue)

这里我推荐大家使用BlockingQueue,该队列为阻塞队列

将数据先写入队列中,然后开启多个消费线程慢慢消费入库。从队列中消费数据有两种方式:

复制代码
 单条消费

 批量消费
一、案例:人脸识别设备---开门记录(批量消费)
1.创建队列
java 复制代码
@Component
public class RequestQueue<T> {
   
	/**
	* 获取开门记录队列
	*/
    BlockingQueue<JSONObject> blockingQueue = new ArrayBlockingQueue<>(1000000,true);
    
     
    /**
     * 获取请求队列数据
     */
    public BlockingQueue<JSONObject> getBlockingQueue(){
        return blockingQueue;
    }
   
    
    
    /**
     * 保存数据进入队列
     */
    public void putJsonDataQueue(JSONObject jsonObject){
        try {
            getBlockingQueue().put(jsonObject);

        }catch (Exception e){
            e.printStackTrace();
        }

    }
    
}
2.创建消费队列任务
java 复制代码
@Component
public class DoorOpeningRecordTask extends Thread{
    @Autowired
    private RequestQueue requestQueue;

    @Autowired
    private DoorOpeningRecordService doorOpeningRecordService;

    @Override
    public void run(){
        while(true){
            try {
                //取出信息列表
                List<JSONObject> list = new ArrayList<>();
                //参数列表: 获取队列  数据  批量处理一百条  500毫秒
                Queues.drain(requestQueue.getBlockingQueue(), list, 100, 500, TimeUnit.MILLISECONDS);
                //对数据进行保存
                doorOpeningRecordService.save(list);

            }catch (Exception e){
                e.printStackTrace();
            }

        }

    }


}
3.监听队列信息
java 复制代码
@Component
public class QueueListener {
    
    @Autowired
    private DoorOpeningRecordTask doorOpeningRecordTask;

    /**
     * 初始化时启动监听请求队列
     */
    @PostConstruct
    public void init() {
        doorOpeningRecordTask.start();
    }

    /**
     * 销毁容器时停止监听任务
     */
    @PreDestroy
    public void destory() {
       
        doorOpeningRecordTask.interrupt();
    }

}
相关推荐
cyforkk5 分钟前
Spring 异常处理器:从混乱到有序,优雅处理所有异常
java·后端·spring·mvc
生擒小朵拉14 分钟前
STM32添加库函数
java·javascript·stm32
Z_z在努力19 分钟前
【杂类】Spring 自动装配原理
java·spring·mybatis
小小菜鸡ing1 小时前
pymysql
java·服务器·数据库
getapi1 小时前
shareId 的产生与传递链路
java
我没想到原来他们都是一堆坏人2 小时前
(未完待续...)如何编写一个用于构建python web项目镜像的dockerfile文件
java·前端·python
沙二原住民2 小时前
提升数据库性能的秘密武器:深入解析慢查询、连接池与Druid监控
java·数据库·oracle
Jerry&Grj2 小时前
SpringBoot埋点功能技术实现方案深度解析:架构设计、性能优化与扩展性实践
java·微服务·性能优化·springboot·架构设计·埋点技术
没有bug.的程序员2 小时前
Redis Stream:轻量级消息队列深度解析
java·数据库·chrome·redis·消息队列
用户8160791833333 小时前
告别“魔法”:包你解决 Gradle 的下载慢问题
java