读取百万数据 - 读取百万数据技术,学习,经验文章

xuxu1116

1 年前

面试题：从 MySQL 读取 100w 数据进行处理，应该怎么做？大数据量操作的场景大致如下：在实际工作中当指定查询数据过大时，我们一般使用分页查询的方式一页一页的将数据放到内存处理。但有些情况不需要分页的方式查询数据或分很大一页查询数据时，如果一下子将数据全部加载出来到内存中，很可能会发生OOM(内存溢出)；而且查询会很慢，因为框架耗费大量的时间和内存去把数据库查询的结果封装成我们想要的对象（实体类）。