[Spark Streaming] 读取 Kafka 消息, 插入到 MySQL

以下是一个简单的使用 Spark Streaming 读取 Kafka 消息、统计数据后插入到 MySQL 中的 Scala 代码示例:

scala 复制代码
import org.apache.spark.SparkConf
import org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.spark.streaming.kafka.KafkaUtils
import java.sql.DriverManager

object KafkaToMysql {

  def main(args: Array[String]): Unit = {
    // 创建 SparkConf
    val conf = new SparkConf().setAppName("KafkaToMysql")
    // 创建 StreamingContext
    val ssc = new StreamingContext(conf, Seconds(5))

    // 设置 Kafka 相关参数
    val kafkaParams = Map[String, String](
      "bootstrap.servers" -> "your_kafka_broker:9092",
      "group.id" -> "your_group_id"
    )

    // 定义要读取的 Kafka 主题
    val topics = Array("your_topic")

    // 使用 KafkaUtils 创建 DStream
    val kafkaStream = KafkaUtils.createDirectStream[String, String](
      ssc,
      LocationStrategies.PreferConsistent,
      ConsumerStrategies.Subscribe[String, String](topics, kafkaParams)
    )

    // 解析和统计数据
    val data = kafkaStream.map(_.value()).flatMap(_.split(" ")).map((_, 1)).reduceByKey(_ + _)

    // 定义数据库连接相关信息
    val url = "jdbc:mysql://your_host:your_port/your_database"
    val username = "your_username"
    val password = "your_password"

    // 将统计结果插入到 MySQL 中
    data.foreachRDD(rdd => {
      rdd.foreachPartition(partition => {
        Class.forName("com.mysql.jdbc.Driver")
        val connection = DriverManager.getConnection(url, username, password)
        val statement = connection.createStatement()
        partition.foreach { case (word, count) =>
          val sql = s"INSERT INTO your_table (word, count) VALUES ('$word', $count)"
          statement.executeUpdate(sql)
        }
        connection.close()
      })
    })

    ssc.start()
    ssc.awaitTermination()
  }
}
相关推荐
在未来等你23 分钟前
Kafka面试精讲 Day 14:集群扩容与数据迁移
大数据·分布式·面试·kafka·消息队列
weixin_4569042735 分钟前
MySQL高级特性详解
数据库·mysql
Mr_hwt_1231 小时前
基于MyCat 中间件实现mysql集群读写分离与从库负载均衡教程(详细案例教程)
数据库·mysql·中间件·mysql集群
zhong liu bin2 小时前
MySQL数据库面试题整理
数据结构·数据库·mysql
luckys.one7 小时前
第9篇:Freqtrade量化交易之config.json 基础入门与初始化
javascript·数据库·python·mysql·算法·json·区块链
jakeswang10 小时前
全解MySQL之死锁问题分析、事务隔离与锁机制的底层原理剖析
数据库·mysql
一成码农10 小时前
MySQL问题7
数据库·mysql
Kt&Rs12 小时前
MySQL复制技术的发展历程
数据库·mysql
手握风云-12 小时前
MySQL数据库精研之旅第十六期:深度拆解事务核心(上)
数据库·mysql
叫我龙翔13 小时前
【MySQL】从零开始了解数据库开发 --- 库的操作
数据库·mysql·数据库开发