分页-PageHelper原理以及实时分页-键集分页

一.PageHelper原理

1.使用

PageHelper 是国内非常优秀的一款开源 mybatis 分页插件，它支持常用的主流数据库，例如 Oracle、Mysql、MariaDB、SQLite、Hsqldb 等。

PageHelper 的安装很简单，只需要在 pom.xml 中加入以下依赖即可：

<dependency>
 <groupId>com.github.pagehelper</groupId>
 <artifactId>pagehelper</artifactId>
 <version>5.2.0</version></dependency>

PageHelper 的使用也非常简单，只需要在查询之前调 PageHelper.startPage() 方法即可开始分页。例如：

// 开始分页PageHelper.startPage(pageNum, pageSize);// 查询List<User> userList = userService.getUserList();// 封装分页对象PageInfo<User> pageInfo = new PageInfo<>(userList);

其中，pageNum 表示要查询的页码，pageSize 表示每页的记录数。调用 startPage 方法之后，PageHelper 会自动将下一次查询作为分页查询，并且会在查询之后返回一个 Page 对象，然后可以将这个对象转换为 PageInfo 对象，从而获得分页相关的信息。

这里其实存在两个问题：

为什么查询之后会返回 Page 对象，而不是 List 对象？
为什么不直接将 list 返回，而是需要封装一次再返回PageInfo 对象？

这里我们稍后再回答，先继续说明一些 PageHelper 的一些使用技巧。

Page page = PageHelper.startPage(pageNum, pageSize, true); - true 表示需要统计总数，这样会多进行一次请求 select count(0)，不传默认为 true。

1）统计总数（将SQL语句变为 select count(0) from xxx，只对简单SQL语句其效果，复杂SQL语句需要自己写）

    Page<?> page = PageHelper.startPage(1,-1);
    long count = page.getTotal();

2）使用PageHelper查全部（不分页）

    PageHelper.startPage(1,0);
    List<?> allList = queryForList( xxx.class , "queryAll" , param);

2.PageHelper的底层原理

首先调用 PageHelper 的 startPage 方法开启分页，方法中会将分页参数存到一个变量 ThreadLocal<Page> LOCAL_PAGE中；

然后调用 mapper 进行查询，这里实际上会被 PageInterceptor 类拦截，执行其重写的 interceptor 方法，该方法中主要做了以下两件事：

获取到 MappedStatement，拿到业务写好的 sql，将 sql 改造成 select count(0) 并执行查询，并将执行结果存到 LOCAL_PAGE 里的Page 中的 total 属性，表示总条数
获取到 xml 中的 sql 语句，并 append 一些分页 sql 段，然后执行，将执行结果存到 LOCAL_PAGE 里的 Page 中的 list 属性，这里的Page 类实际是 ArrayList 的子类。

可以看出，结果是封装到了 Page 中，最后交由 PageInfo，从中可以获取到总条数、总页数等参数。

1.分页参数储存

首先看PageHelper.startPage的源码：

 public static <E> Page<E> startPage(int pageNum, int pageSize, boolean count, Boolean reasonable, Boolean pageSizeZero) {
 Page<E> page = new Page(pageNum, pageSize, count);
        page.setReasonable(reasonable);
        page.setPageSizeZero(pageSizeZero);
 Page<E> oldPage = getLocalPage();
 if (oldPage != null && oldPage.isOrderByOnly()) {
            page.setOrderBy(oldPage.getOrderBy());
 }
 setLocalPage(page);
 return page;
 }

其实主要就是把分页参数给到 Page ,然后将实例 Page 存储到 ThreadLocal 中。

public abstract class PageMethod {
 protected static final ThreadLocal<Page> LOCAL_PAGE = new ThreadLocal();
 public PageMethod() {
 }
 protected static void setLocalPage(Page page) {
 LOCAL_PAGE.set(page);
 }}

继续看执行SQL是怎么做的

2.拦截器改造 SQL

（1）统计总数

PageHelper 是通过拦截器底层执行 sql，对应的拦截器是 PageInterceptor，首先来看看这个类头部的定义，可以看出拦截了 Executor 的 query方法，毕竟 Mybatis 底层查询实际是借助 SqlSeesion 调用 Executor#query。


@Intercepts({@Signature( type = Executor.class, method = "query", args = {MappedStatement.class, Object.class, RowBounds.class, ResultHandler.class}), @Signature( type = Executor.class, method = "query", args = {MappedStatement.class, Object.class, RowBounds.class, ResultHandler.class, CacheKey.class, BoundSql.class})})public class PageInterceptor implements Interceptor { private static final Log log = LogFactory.getLog(PageInterceptor.class); private static boolean debug = false; protected Cache<String, MappedStatement> msCountMap = null; protected CountMsIdGen countMsIdGen; private volatile Dialect dialect; private String countSuffix; private String default_dialect_class;

复制代码

然后重点看下 intercept 方法，方法中传入的 Invocation 是JDK进行动态代理的时候，Plugin 类将反射信息封装到 Invocation 里，然后传给 intercept。

看下在哪里进行了总条数查询，进入 count 方法内看下：

继续追踪代码执行过程，发现进入 executeAutoCount 方法内，这个方法内有个变量为 countSql，其内容正是"select count(0)..."，说明 PageHelper 在此处进行了总条数查询。

（2）分页查询

再看下 intercept 方法中如何进行如何分页查询：

在 pageQuery 方法中进行实际查询操作：

方法中的 pageSql 即为分页查询语句，看下 getPageSql 是如何实现的：

getPageSql 这个方法会根据不同的数据库，对 sql 进行不同的改造，这里关注下 MySql 是如何改造的：

很明显到这里就能看出 PageHelper 在针对分页查询时对每一个查询 sql 末尾都增加了 limit 子句，最大的一个问题得到了解决，代码后续就是拼接后Sql 的执行返回过程。值得注意的是，在 intercept 方法末尾的 finally 中调用 afferAll 方法对 ThreadLocal 进行 remove。

3.PageInfo

实际代码中进行分页查询得到 list之后，还要将其封装进 PageInfo 类中，才能获取到分页信息。我们关注下 PageInfo 中的构造器：

在这段代码中，将list强转为Page，再看下Page类中的设计，Page 类实际上是 ArrayList 的子类，且 Page 类中包含了分页的具体信息，而分页查询返回的 list 实际类型就是 Page，所以将其封装为 PageInfo 再返回也是合理且正确的。

2.安全性问题

PageHelper 的 startPage 方法使用了静态的 ThreadLocal 参数，分页参数和线程是绑定的。只要保证在 startPage 方法调用后紧跟 MyBatis 查询方法，这就是安全的。因为 PageHelper 在 finally 代码段中自动清除了 ThreadLocal 存储的对象。但是例如下面这样的代码，就是不安全的用法：

PageHelper.startPage(1, 10);List<Country> list;if (param1 != null) {
    list = countryMapper.selectIf(param1);} else {
    list = new ArrayList<Country>();}

这种情况下由于 param1 存在 null 的情况，就会导致 PageHelper 生产了一个分页参数，但是没有被消费，这个参数就会一直保留在这个线程上。当这个线程再次被使用时，就可能导致不该分页的方法去消费这个分页参数，这就产生了莫名其妙的分页。

上面这个代码，应该写成下面这个样子：

List<Country> list;if (param1 != null) {
 PageHelper.startPage(1, 10);
    list = countryMapper.selectIf(param1);} else {
    list = new ArrayList<Country>();}

这种写法就能保证安全。当然也可以手动清理 ThreadLocal 存储的分页参数，如下代码所示，但是这种写法不好看，且没有必要，推荐上面的写法。

List<Country> list;if (param1 != null) {
 PageHelper.startPage(1, 10);
 try {
        list = countryMapper.selectAll();
 } finally {
 PageHelper.clearPage();
 }} else {
    list = new ArrayList<Country>();}

二.键集分页

Spring Boot中实现"键集分页"（Keyset Pagination）算法，主要是利用数据库的排序功能，通过记录上一次查询结果的最后一条记录的排序键（通常是主键或者唯一键），在后续的查询中利用这个排序键来获取下一页的数据。这样可以避免分页查询中的"跳页"问题，尤其是在有新数据插入时。

以下是一个基于Spring Data JPA实现键集分页的示例：

定义实体类 ：假设我们有一个Post实体，它有一个主键id和一个用于排序的字段createdDate。

@Entity
public class Post {
    @Id
    @GeneratedValue(strategy = GenerationType.IDENTITY)
    private Long id;

    private String title;

    @Temporal(TemporalType.TIMESTAMP)
    private Date createdDate;

    // 省略getter和setter
}

定义存储库接口 ：创建一个继承JpaRepository的存储库接口，并添加一个支持键集分页的方法。

public interface PostRepository extends JpaRepository<Post, Long> {

    @Query("SELECT p FROM Post p WHERE p.createdDate > :lastCreatedDate ORDER BY p.createdDate ASC")
    List<Post> findPostsAfterDate(@Param("lastCreatedDate") Date lastCreatedDate, Pageable pageable);
}

实现服务层：在服务层中，我们需要一个方法来处理键集分页逻辑。

@Service
public class PostService {

    @Autowired
    private PostRepository postRepository;

    public Page<Post> getKeysetPage(Date lastCreatedDate, Pageable pageable) {
        // 获取分页数据
        List<Post> posts = postRepository.findPostsAfterDate(lastCreatedDate, pageable);

        // 获取总记录数，这里需要根据实际情况从数据库中查询
        long total = postRepository.countByCreatedDateGreaterThan(lastCreatedDate);

        // 创建Page对象
        return new PageImpl<>(posts, pageable, total);
    }
}

实现控制器 ：在控制器中，我们需要处理分页请求，并提供必要的参数来调用服务层的getKeysetPage方法。

@RestController
@RequestMapping("/posts")
public class PostController {

    @Autowired
    private PostService postService;

    @GetMapping
    public Page<Post> getPosts(@RequestParam(value = "lastCreatedDate", required = false) @DateTimeFormat(iso = DateTimeFormat.ISO.DATE_TIME) Date lastCreatedDate,
                               @RequestParam(value = "page", defaultValue = "0") int page,
                               @RequestParam(value = "size", defaultValue = "10") int size) {
        Pageable pageable = PageRequest.of(page, size);
        return postService.getKeysetPage(lastCreatedDate, pageable);
    }
}

在这个例子中，我们使用createdDate字段作为排序键。客户端在请求分页数据时，需要提供上一次查询结果的最后一条记录的createdDate。服务器端使用这个日期来查询下一页的数据。

需要注意的是，键集分页算法适用于排序字段具有唯一性的情况，例如时间戳或者自增的主键。如果排序字段不具有唯一性，可能需要结合其他字段来确保分页的准确性。此外，这种算法可能不适用于随机访问或者跳转到特定页码的操作。