Flink 输出至 Redis

【1】引入第三方Bahir提供的Flink-redis相关依赖包

xml 复制代码
<!-- https://mvnrepository.com/artifact/org.apache.bahir/flink-connector-redis -->
<dependency>
    <groupId>org.apache.bahir</groupId>
    <artifactId>flink-connector-redis_2.11</artifactId>
    <version>1.0</version>
</dependency>

【2】Flink连接Redis并输出Sink处理结果

java 复制代码
package com.zzx.flink

import org.apache.flink.streaming.api.scala._
import org.apache.flink.streaming.connectors.redis.RedisSink
import org.apache.flink.streaming.connectors.redis.common.config.FlinkJedisPoolConfig
import org.apache.flink.streaming.connectors.redis.common.mapper.{RedisCommand, RedisCommandDescription, RedisMapper}

object RedisSinkTest {
  def main(args: Array[String]): Unit = {
    // 创建一个流处理执行环境
    val env = StreamExecutionEnvironment.getExecutionEnvironment
    //从文件中读取数据并转换为 类
    val inputStreamFromFile: DataStream[String] = env.readTextFile("E:\\Project\\flink\\src\\main\\resources\\wordcount.txt")
    //转换  SensorReading为用户自定义的类,是从文件转换而来的
    val dataStream: DataStream[SensorReading] = inputStreamFromFile
      .map( data => {
        var dataArray = data.split(",")
        SensorReading(dataArray(0),dataArray(1).toLong,dataArray(2).toDouble)
      })
    //定义一个 redis 的配置类 继承了FlinkJedisConfigBase 正是 SensorReading需要传入的参数,底层将有些数据保存成了状态数据。
    val conf = new FlinkJedisPoolConfig.Builder().setHost("192.168.52.131").setPort(6379).setPassword("zzx").build()
    //定义 RedisMapper 数据保存的类型
    val myMapper = new RedisMapper[SensorReading] {
      //定义保存数据到 redis的命令,hset table key value
      override def getCommandDescription: RedisCommandDescription = {
        // hset tablesname
        new RedisCommandDescription(RedisCommand.HSET , "sensor_temp")
      }
      //设置key
      override def getKeyFromData(data: SensorReading): String = data.id
      //设置value
      override def getValueFromData(data: SensorReading): String = data.temperature.toString
    }
    dataStream.addSink(new RedisSink[SensorReading](conf,myMapper))

    env.execute("Redis Sink test")
  }
}

查看源码可知RedisSink是继承自RichSinkFunction<IN>

java 复制代码
public class RedisSink<IN> extends RichSinkFunction<IN> {

【3】查看Redis输出信息

相关推荐
摇滚侠8 小时前
Spring Boot 3零基础教程,WEB 开发 Thymeleaf 属性优先级 行内写法 变量选择 笔记42
java·spring boot·笔记
滑水滑成滑头8 小时前
**发散创新:多智能体系统的探索与实践**随着人工智能技术的飞速发展,多智能体系统作为当今研究的热点领域,正受到越来越多关注
java·网络·人工智能·python
摇滚侠8 小时前
Spring Boot 3零基础教程,WEB 开发 Thymeleaf 总结 热部署 常用配置 笔记44
java·spring boot·笔记
十年小站8 小时前
一、新建一个SpringBoot3项目
java·spring boot
2401_841495648 小时前
【数据结构】最长的最短路径的求解
java·数据结构·c++·python·算法·最短路径·图搜索
麦麦鸡腿堡8 小时前
Java的代码块介绍与快速入门
java·开发语言
PFinal社区_南丞8 小时前
构建可维护的正则表达式系统-pfinal-regex-center设计与实现
后端·php
Imnobody8 小时前
吴恩达 Prompt 工程课精讲②:写出高可靠 Prompt 的2大黄金法则
后端
yuuki2332338 小时前
【C语言】程序的编译和链接(基础向)
c语言·后端
梅小西爱学习8 小时前
线上CPU飙到100%?别慌,这3个工具比top快10倍!
java·后端·cpu