头歌实践教学平台:大数据存储2023(十四下答案)

十四、HBase 数据库设计之 RowKey

第2关:车联网 RowKey 设计

package step2;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.hbase.Cell;

import org.apache.hadoop.hbase.CellUtil;

import org.apache.hadoop.hbase.HBaseConfiguration;

import org.apache.hadoop.hbase.TableName;

import org.apache.hadoop.hbase.client.*;

import org.apache.hadoop.hbase.util.Bytes;

import java.security.MessageDigest;

import java.security.NoSuchAlgorithmException;

import java.util.HashMap;

import java.util.Map;

public class Task {

static String\[\] chars = {"0", "1", "2", "3", "4", "5", "6", "7", "8", "9", "a", "b", "c", "d", "e", "f"};

/**

* MD5 加密

* @param str 需要加密的文本

* @return 加密后的32位md5字符串

*/

public static String StringInMd5(String str) {

MessageDigest md5 = null;

try {

md5 = MessageDigest.getInstance("md5");

byte\[\] result = md5.digest(str.getBytes());

StringBuilder sb = new StringBuilder(32);

for (int i = 0; i < result.length; i++) {

byte x = resulti;

int h = 0x0f & (x >>> 4);

int l = 0x0f & x;

sb.append(charsh).append(charsl);

}

return sb.toString();

} catch (NoSuchAlgorithmException e) {

throw new RuntimeException(e);

}

}

/**

* 生成 row

*

* @param carId 汽车ID

* @param timestamp 时间戳

* @return rowkey 格式:5位md5前缀-carId-timestamp

*/

public String createRowKey(String carId, String timestamp) {

/********** begin **********/

// 1. MD5车辆ID,固定32位不会为空

String md5Full = StringInMd5(carId);

// 截取前5位哈希前缀

String prefix = md5Full.substring(0, 5);

// 严格拼接三段+分隔符,保证一定有值,杜绝空串

String rowKey = prefix + "-" + carId + "-" + timestamp;

return rowKey;

/********** end **********/

}

/**

* 查询某辆车在某个时间范围的交易记录

*

* @param carId 车辆ID

* @param startTimestamp 开始时间戳

* @param endTimestamp 截止时间戳

* @return map 存储 (rowkey,value)

*/

public Map<String, String> findLogByTimestampRange(String carId, String startTimestamp, String endTimestamp) throws Exception {

Map<String, String> map = new HashMap<>();

/********** begin **********/

Configuration conf = HBaseConfiguration.create();

conf.set("hbase.zookeeper.quorum", "localhost");

// 计算当前车辆固定哈希前缀

String fullMd5 = StringInMd5(carId);

String prefix = fullMd5.substring(0, 5);

String base = prefix + "-" + carId + "-";

// 构造Scan左右边界(左闭右开)

String startRow = base + startTimestamp;

long endTsNum = Long.parseLong(endTimestamp);

String stopRow = base + (endTsNum + 1);

Scan scan = new Scan(Bytes.toBytes(startRow), Bytes.toBytes(stopRow));

// 只读取需要的列,减少IO防超时

scan.addColumn(Bytes.toBytes("info"), Bytes.toBytes("val"));

try (Connection conn = ConnectionFactory.createConnection(conf);

Table table = conn.getTable(TableName.valueOf("car_data"));

ResultScanner scanner = table.getScanner(scan)) {

for (Result res : scanner) {

String rk = Bytes.toString(res.getRow());

Cell cell = res.getColumnLatestCell(Bytes.toBytes("info"), Bytes.toBytes("val"));

String val = Bytes.toString(CellUtil.cloneValue(cell));

map.put(rk, val);

}

}

/********** end **********/

return map;

}

}

有任何问题都可以随时关注私信!

相关推荐
AI_Auto1 小时前
数字化转型工作手册⑨|干什么①:数字化转型能拿到哪三类价值效益?
大数据·架构·制造
欢乐马87911 小时前
优化|MPSolver 和 pywraplp 到底谁是谁?一次讲清 OR-Tools 的三层结构
python
注塑机数据采集联网1 小时前
注塑机智能数据采集联网网关 ZK-D1/D3 如何读取力劲注塑机控制器数据并对接 MES/IOT 平台
大数据·网络·物联网·数据挖掘·注塑机网关
mengge.cloud2 小时前
Python基础保姆级!从入门到入土
开发语言·python·云原生·pygame
倔强的石头_3 小时前
数据库选型四步法:我把候选从十几个缩到两个
数据库
qq_158895411117 小时前
Suno-API 是什么?官方 V6 模型与 Python / TypeScript 接入指南
python·ai音乐·suno api
学无止境小袁同学17 小时前
Google ADK 学习指南
python·llm·agent·多agent·google adk·llmagent·agent cli
bksczm17 小时前
Redis Cluster 分片集群详解:槽路由、故障判定与扩缩容
数据库·redis·分布式
郝学胜-神的一滴17 小时前
Effective Python 条款35:用类封装替代生成器异常注入
开发语言·人工智能·python·金融·pandas·scikit-learn·matplotlib
LK_0718 小时前
【力扣】142. 环形链表 II |Python
python·leetcode·链表