flink读kafka写mysql数据库

场景:从kafka读数据,通过jdbc写入mysql

示例:

#往kafka测试主题写入数据

kafka-console-producer.sh --broker-list wh01t:21007 --topic ypg_test --producer.config /client/Kafka/kafka/config/producer.properties

--创建mysql测试表

-- dsg.test definition

CREATE TABLE test (
id varchar(50) NOT NULL,
c_date date DEFAULT NULL,

PRIMARY KEY (id)

) ;

flink主类:

scala 复制代码
package com.pinko.testcase

import com.security.InitKafkaUtil
import org.apache.flink.api.common.serialization.SimpleStringSchema
import org.apache.flink.api.scala._
import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer011

import scala.collection.JavaConverters.seqAsJavaListConverter

/* 测试 */
object Test05FromKafkaToMysql {
  def main(args: Array[String]): Unit = {
    val prop = InitKafkaUtil.initPros()
    InitKafkaUtil.securityPrepare
    // 加载执行环境
    val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment
    env.setParallelism(1)

    //参数消费多个topic
    val topics: List[String] = List("ypg_test")
    val kafkaConsumer = new FlinkKafkaConsumer011[String](topics.asJava, new SimpleStringSchema(), prop)
//    val kafka = env.fromElements("ypghello", "ypgworld")
    println("flink环境加载完成,开始处理数据...")
    /* kafka消息处理逻辑 */
    val kafka = env.addSource(kafkaConsumer)
    kafka.print()
    kafka.addSink(new MysqlSink())
    env.execute("Test05FromKafka")
  }
}
scala 复制代码
package com.pinko.testcase

import org.apache.flink.configuration.Configuration
import org.apache.flink.streaming.api.functions.sink.{RichSinkFunction, SinkFunction}

import java.sql.{Connection, DriverManager, PreparedStatement}

class MysqlSink extends RichSinkFunction[String] {
  var conn: Connection = _
  var ps: PreparedStatement = _
  override def open(parameters: Configuration): Unit = {
    val conn_str = "jdbc:mysql://10.22.33.44:2883/testdb|test|test#123";
    val conns = conn_str.split("\\|")
    val url: String = conns(0)
    val username: String = conns(1)
    val password: String = conns(2)
    conn = DriverManager.getConnection(url, username, password)
    println(conn)

  }
  override def invoke(value: String, context: SinkFunction.Context[_]): Unit = {
    val sql = s"insert into test values ('$value', now()) on duplicate key update id = values(id),c_date = values(c_date)"
    println(sql)
    ps = conn.prepareStatement(sql)
    val rowsAffected = ps.executeUpdate()
    if (rowsAffected > 0) {
      println("更新成功")
    } else {
      println("没有进行更新操作")
    }
  }

  override def close(): Unit = {
    ps.close()
    conn.close()
  }
}
相关推荐
达梦产品与服务5 小时前
SQLark V4.4 更新 | 新增 SQL Server 数据库支持、自定义格式复制、Agent 辅助建表等 20+ 项功能已上线!
数据库
小Ti客栈7 小时前
MySQL 常用函数速查(完整篇)
数据库·mysql·adb
隔窗听雨眠7 小时前
高可用不止于数据库的全栈工程实践
数据库·架构设计·高可用
nice_lcj52010 小时前
MySQL 主从复制与读写分离:从库怎么跟着主库走
数据库·mysql·面试·binlog·读写分离·主从复制
tianyuanwo10 小时前
PostgreSQL 部署运维实战总结:从安装踩坑到生产可用
运维·数据库·postgresql
数据工匠老o11 小时前
数据库没死,业务卡住了:行锁等待、元数据锁、长事务的排查路径
数据库·算法·架构
Decay__11 小时前
SQLServer 优化案例集 —— 慢 SQL 优化、索引重构与参数调整收益对比
运维·数据库·sql·mysql·架构
CoderYanger11 小时前
Java EE 进阶:9.MyBatis 操作数据库(进阶)(第二弹)
java·数据库·面试·职场和发展·java-ee·tomcat·mybatis
龙腾AI白云12 小时前
具身智能的空间导航与未知环境探索
大数据·数据库·人工智能·机器学习·知识图谱