flink读kafka写mysql数据库

场景:从kafka读数据,通过jdbc写入mysql

示例:

#往kafka测试主题写入数据

kafka-console-producer.sh --broker-list wh01t:21007 --topic ypg_test --producer.config /client/Kafka/kafka/config/producer.properties

--创建mysql测试表

-- dsg.test definition

CREATE TABLE test (
id varchar(50) NOT NULL,
c_date date DEFAULT NULL,

PRIMARY KEY (id)

) ;

flink主类:

scala 复制代码
package com.pinko.testcase

import com.security.InitKafkaUtil
import org.apache.flink.api.common.serialization.SimpleStringSchema
import org.apache.flink.api.scala._
import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer011

import scala.collection.JavaConverters.seqAsJavaListConverter

/* 测试 */
object Test05FromKafkaToMysql {
  def main(args: Array[String]): Unit = {
    val prop = InitKafkaUtil.initPros()
    InitKafkaUtil.securityPrepare
    // 加载执行环境
    val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment
    env.setParallelism(1)

    //参数消费多个topic
    val topics: List[String] = List("ypg_test")
    val kafkaConsumer = new FlinkKafkaConsumer011[String](topics.asJava, new SimpleStringSchema(), prop)
//    val kafka = env.fromElements("ypghello", "ypgworld")
    println("flink环境加载完成,开始处理数据...")
    /* kafka消息处理逻辑 */
    val kafka = env.addSource(kafkaConsumer)
    kafka.print()
    kafka.addSink(new MysqlSink())
    env.execute("Test05FromKafka")
  }
}
scala 复制代码
package com.pinko.testcase

import org.apache.flink.configuration.Configuration
import org.apache.flink.streaming.api.functions.sink.{RichSinkFunction, SinkFunction}

import java.sql.{Connection, DriverManager, PreparedStatement}

class MysqlSink extends RichSinkFunction[String] {
  var conn: Connection = _
  var ps: PreparedStatement = _
  override def open(parameters: Configuration): Unit = {
    val conn_str = "jdbc:mysql://10.22.33.44:2883/testdb|test|test#123";
    val conns = conn_str.split("\\|")
    val url: String = conns(0)
    val username: String = conns(1)
    val password: String = conns(2)
    conn = DriverManager.getConnection(url, username, password)
    println(conn)

  }
  override def invoke(value: String, context: SinkFunction.Context[_]): Unit = {
    val sql = s"insert into test values ('$value', now()) on duplicate key update id = values(id),c_date = values(c_date)"
    println(sql)
    ps = conn.prepareStatement(sql)
    val rowsAffected = ps.executeUpdate()
    if (rowsAffected > 0) {
      println("更新成功")
    } else {
      println("没有进行更新操作")
    }
  }

  override def close(): Unit = {
    ps.close()
    conn.close()
  }
}
相关推荐
计算机毕设定制辅导-无忧学长35 分钟前
西门子 PLC 与 Modbus 集成:S7-1500 RTU/TCP 配置指南(一)
服务器·数据库·tcp/ip
KK溜了溜了1 小时前
JAVA-springboot 整合Redis
java·spring boot·redis
程序员柳1 小时前
基于微信小程序的校园二手交易平台、微信小程序校园二手商城源代码+数据库+使用说明,layui+微信小程序+Spring Boot
数据库·微信小程序·layui
梦在深巷、2 小时前
MySQL/MariaDB数据库主从复制之基于二进制日志的方式
linux·数据库·mysql·mariadb
IT乌鸦坐飞机2 小时前
ansible部署数据库服务随机启动并创建用户和设置用户有完全权限
数据库·ansible·centos7
IT_10242 小时前
Spring Boot项目开发实战销售管理系统——数据库设计!
java·开发语言·数据库·spring boot·后端·oracle
祁思妙想3 小时前
八股学习(三)---MySQL
数据库·学习·mysql
惊骇世俗王某人3 小时前
1.MySQL之如何定位慢查询
数据库·mysql
秦歌6664 小时前
向量数据库-Milvus快速入门
数据库·milvus
苦夏木禾4 小时前
js请求避免缓存的三种方式
开发语言·javascript·缓存