hbase merge工具

在hbase中,表中可能会存在很多小的region,如果不需要那么多小的region,可以将他们就行合并。

代码的逻辑是将相邻的两个小region进行合并,需要注意以下几点

1、当个region不宜过大,如果两个合并后超过当个region 的最大值,比如7G+7G=14G,超过region配置的最大值10G,这样的话哪怕合并了,也会重新分裂。

2、必须要相邻的两个region,才可以执行命令,不明白原理,不可随意修改代码

复制代码
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.*;
import org.apache.hadoop.hbase.util.Bytes;
import java.util.ArrayList;

public class HbaseMerge {
    public static void main(String[] args) throws Exception {
        Configuration config = HBaseConfiguration.create();
        config.set("hbase.zookeeper.property.clientPort", "2181");
        config.set("hbase.zookeeper.quorum", "h1,h2,h3");
        Connection connection = ConnectionFactory.createConnection(config);
        Table table = connection.getTable(TableName.valueOf("hbase:meta"));


        //merge表名
        String tableName = "库名:表名";

        Admin admin = connection.getAdmin();

        Scan scan = new Scan();
        scan.withStartRow(Bytes.toBytes(tableName));
        scan.withStopRow(Bytes.toBytes(tableName + "_"));

        ResultScanner scanner = table.getScanner(scan);

        ArrayList<String> regions = new ArrayList<>();


        for (Result result : scanner) {
            String[] split = result.toString().split("\\./");

            if (split.length > 1) {
                String s = split[0];
                String[] split1 = s.split("\\.");
                String region = split1[split1.length - 1];
                regions.add(region);

            }
        }

        System.out.println("共有region: " + regions.size() + "个-----------------");


        for (int i = 0; i < regions.size() - 1; i += 2) {
            String region1 = regions.get(i);
            String region2 = regions.get(i + 1);
            try {
                admin.mergeRegions(region1.getBytes(), region2.getBytes(), false);
                System.out.println(region1 + " - " + region2 + " merge is ok");
            } catch (Exception e) {

                System.out.println(region1 + " - " + region2 + " merge is fail fail fail");
            }
        }


        //admin.majorCompact(TableName.valueOf(tableName)); 执行major,看是否需要开启

        admin.close();
        connection.close();


    }
}
相关推荐
王小王-1234 分钟前
基于Hadoop的用户购物行为可视化分析系统设计与实现
大数据·hadoop·分布式·用户购物行为·电商日志分析
白仑色4 分钟前
Oracle 存储过程、函数与触发器
数据库·oracle·数据库开发·存储过程·plsql编程
沐尘而生9 分钟前
【AI智能体】智能音视频-硬件设备基于 WebSocket 实现语音交互
大数据·人工智能·websocket·机器学习·ai作画·音视频·娱乐
贝格前端工场27 分钟前
小程序订阅消息设计:用户触达与隐私保护的平衡法则
大数据·小程序
头发那是一根不剩了1 小时前
Spring Boot 多数据源切换:AbstractRoutingDataSource
数据库·spring boot·后端
成都极云科技2 小时前
成都算力租赁新趋势:H20 八卡服务器如何重塑 AI 产业格局?
大数据·服务器·人工智能·云计算·gpu算力
草履虫建模2 小时前
Redis:高性能内存数据库与缓存利器
java·数据库·spring boot·redis·分布式·mysql·缓存
典学长编程2 小时前
高效学习之一篇搞定分布式管理系统Git !
大数据·git·搜索引擎
泊浮目3 小时前
未来数据库硬件-计算篇
数据库·云计算·操作系统
靖顺3 小时前
【OceanBase诊断调优】—— 执行计划显示分区 PARTITIONS[P0SP9] 如何查询是哪个分区?
数据库·oracle·oceanbase