spark3.0.1版本查询Hbase数据库例子

需求背景

现有需求,需要采用spark查询hbase数据库的数据同步到中间分析库,记录spark集成hbase的简单例子代码

scala 复制代码
import org.apache.hadoop.hbase.HBaseConfiguration
import org.apache.hadoop.hbase.client.{ConnectionFactory, Scan}
import org.apache.hadoop.hbase.util.Bytes
import org.apache.spark.sql.SparkSession

object ReadHBaseData {
  def main(args: Array[String]): Unit = {
    // 创建SparkSession
    val spark = SparkSession.builder()
      .appName("ReadHBaseData")
      .master("local")
      .getOrCreate()
      
    // 创建HBase配置
    val conf = HBaseConfiguration.create()

    // 设置HBase连接参数
    conf.set("hbase.zookeeper.quorum", "localhost")
    conf.set("hbase.zookeeper.property.clientPort", "2181")

    // 创建HBase连接
    val connection = ConnectionFactory.createConnection(conf)

    // 创建HBase表
    val tableName = "my_table"
    val table = connection.getTable(TableName.valueOf(tableName))

    // 创建HBase扫描对象
    val scan = new Scan()

    // 设置要读取的列族和列
    scan.addColumn(Bytes.toBytes("cf"), Bytes.toBytes("column1"))
    scan.addColumn(Bytes.toBytes("cf"), Bytes.toBytes("column2"))

    // 执行HBase扫描
    val scanner = table.getScanner(scan)

    // 遍历扫描结果并将结果转换为RDD
    val rdd = spark.sparkContext.parallelize(scanner.iterator().asScala.map(result => {
      val rowKey = Bytes.toString(result.getRow)
      val value1 = Bytes.toString(result.getValue(Bytes.toBytes("cf"), Bytes.toBytes("column1")))
      val value2 = Bytes.toString(result.getValue(Bytes.toBytes("cf"), Bytes.toBytes("column2")))
      (rowKey, value1, value2)
    }).toList)

    // 将RDD转换为DataFrame
    val df = spark.createDataFrame(rdd).toDF("rowKey", "value1", "value2")

    // 显示DataFrame内容
    df.show()

    // 关闭HBase连接
    scanner.close()
    table.close()
    connection.close()

    // 关闭SparkSession
    spark.stop()
  }
}
 
相关推荐
哈哈很哈哈10 小时前
Spark 核心 RDD详解
大数据·分布式·spark·scala
智海观潮10 小时前
Spark广播变量HttpBroadcast和TorrentBroadcast对比
大数据·spark
StarPrayers.14 小时前
PySpark基础知识(python)
python·数据分析·spark
程序员小羊!15 小时前
大数据电商流量分析项目实战:Spark SQL 基础(四)
大数据·sql·spark
IT研究室19 小时前
大数据毕业设计选题推荐-基于大数据的健康与生活方式数据可视化分析系统-Spark-Hadoop-Bigdata
大数据·hadoop·spark·毕业设计·源码·数据可视化·bigdata
王大帅の王同学21 小时前
Thinkphp6接入讯飞星火大模型Spark Lite完全免费的API
大数据·分布式·spark
lwprain1 天前
龙蜥8.10中spark各种集群及单机模式的搭建spark3.5.6(基于hadoop3.3.6集群)
大数据·ajax·spark
BYSJMG2 天前
计算机毕设推荐:基于Hadoop+Spark物联网网络安全数据分析系统 物联网威胁分析系统【源码+文档+调试】
大数据·hadoop·python·物联网·spark·django·课程设计
XueminXu2 天前
Spark-SQL任务提交方式
sql·spark·spark-sql·sql文件·元数据·sql脚本·hms
武子康2 天前
大数据-96 SparkSQL 语句详解:从 DataFrame 到 SQL 查询与 Hive 集成全解析
大数据·后端·spark