FlinkSql读取外部Mysql和HBase数据库的方法(scala)

我的Flink版本为1.13.6

bash 复制代码
<flink.version>1.13.6</flink.version>

FlinkSql读取外部的MySQL是走的JDBC所以需要以下两个依赖:

bash 复制代码
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-jdbc_${scala.binary.version}</artifactId>
            <version>1.13.6</version>
        </dependency>
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>8.0.25</version>
        </dependency>

读取HBase需要如下依赖:

bash 复制代码
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-hbase-2.2_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>

我们首先在虚拟机的MySQL中随意找一张表,我以我这边的ebs库的customer表为例:

表内容如下:

在scala工程中建立一个类,内容如下:

Scala 复制代码
import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment
import org.apache.flink.table.api.EnvironmentSettings
import org.apache.flink.table.api.bridge.scala.StreamTableEnvironment

object MysqlJdbc {
  def main(args: Array[String]): Unit = {
    val settings = EnvironmentSettings.newInstance()
      .inStreamingMode()
      .build()
    val see: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment
    val tabEnv: StreamTableEnvironment = StreamTableEnvironment.create(see)

    tabEnv.executeSql(
      """
         |CREATE TABLE person(
         |gender string,
         |country string,
         |job string,
         |credit_type string,
         |customer_id int ,
         |first_name string,
         |last_name string,
         |email string,
         |address string,
         |`language` string,
         |credit_no string
         |)
         |WITH (
         |'connector' = 'jdbc',
         |'url' = 'jdbc:mysql://single01:3306/ebs',
         |'driver' = 'com.mysql.cj.jdbc.Driver',
         |'username' = 'root',
         |'password' = 'sakura20031204',
         |'table-name' = 'customer'
         |)
         |""".stripMargin)


    tabEnv.sqlQuery(
      """
        |SELECT * FROM person
        |
        |""".stripMargin)
      .execute().print()
  }
}

在flinkSQL中,我建立一张虚拟表person,然后在字段列表中,每一个字段名的数据类型都必须和MySQL中源数据的数据类型相匹配,否则会报错。

其中一些参数解释如下:

'connector' = 'jdbc'

指定连接器类型为jdbc。

'url' = 'jdbc:mysql://single01:3306/ebs'

指定所要连接的MySQL服务器地址以及库名。

'driver' = 'com.mysql.cj.jdbc.Driver'

指定MySQL驱动包。

'username' = 'root'

'password' = 'sakura20031204'

指定登录MySQL用户的账号和密码,我这边为了方便使用的是root用户,实际使用时不能使用root。要保证该用户有读取你指定的那张表的权限。

'table-name' = 'customer'

指定表的名字。

结果如下(截图只有部分内容,因为字段列表长):

同样的,在HBase中先找一张表,我这里以我这边的hbase_test:tranfer_from_mysql为例:

HBase shell中看表内容比较费劲,这张表大致内容有一个列族baseinfo 内容是:

<age INT, gender STRING,name STRING,phone STRING>

在scala工程中建立一个类,内容如下:

Scala 复制代码
import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment
import org.apache.flink.table.api.EnvironmentSettings
import org.apache.flink.table.api.bridge.scala.StreamTableEnvironment

object HBase {
  def main(args: Array[String]): Unit = {
    val settings = EnvironmentSettings.newInstance()
      .inStreamingMode()
      .build()
    val see: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment
    val tabEnv: StreamTableEnvironment = StreamTableEnvironment.create(see)

    tabEnv.executeSql(
      """
         |CREATE TABLE person(
         |id INT,
         |baseinfo ROW<age INT, gender STRING,name STRING,phone STRING>
         |) WITH (
         |'connector' = 'hbase-2.2',
         |'table-name' = 'hbase_test:tranfer_from_mysql',
         |'zookeeper.quorum' = 'single01:2181',
         |'zookeeper.znode.parent' = '/hbase'
         |)
         |""".stripMargin)

    tabEnv.sqlQuery(
      """
        |SELECT id, baseinfo.age, baseinfo.gender, baseinfo.name, baseinfo.phone
        |FROM person
        |WHERE baseinfo.gender = 'female'
        |and baseinfo.age > 20
        |""".stripMargin)
      .execute().print()

  }
}

其中一些参数内容解释如下:

'connector' = 'hbase-2.2'

指定使用的连接器类型,这里是 HBase 的版本 2.2。

'table-name' = 'hbase_test:tranfer_from_mysql'

指定在 HBase 中要访问的表的名称。

'zookeeper.quorum' = 'single01:2181'

指定 HBase 使用的 ZooKeeper 集群的地址和端口。

'zookeeper.znode.parent' = '/hbase'

指定 ZooKeeper 中的父节点(znode)。

最终结果如下:

相关推荐
KellenKellenHao5 小时前
MySQL数据库主从复制
数据库·mysql
武子康6 小时前
大数据-33 HBase 整体架构 HMaster HRegion
大数据·后端·hbase
一只fish6 小时前
MySQL 8.0 OCP 1Z0-908 题目解析(16)
数据库·mysql
叁沐8 小时前
MySQL 07 行锁功过:怎么减少行锁对性能的影响?
mysql
Edingbrugh.南空8 小时前
Flink ClickHouse 连接器维表源码深度解析
java·clickhouse·flink
Java烘焙师8 小时前
架构师必备:业务扩展模式选型
mysql·elasticsearch·架构·hbase·多维度查询
飞翔的佩奇8 小时前
Java项目:基于SSM框架实现的忘忧小区物业管理系统【ssm+B/S架构+源码+数据库+毕业论文+开题报告】
java·数据库·mysql·vue·毕业设计·ssm框架·小区物业管理系统
@Ryan Ding9 小时前
MySQL主从复制与读写分离概述
android·mysql·adb
feifeigo12315 小时前
升级到MySQL 8.4,MySQL启动报错:io_setup() failed with EAGAIN
数据库·mysql·adb
诗旸的技术记录与分享20 小时前
Flink-1.19.0源码详解-番外补充3-StreamGraph图
大数据·flink