Kafka与MySQL的组合使用

  1. 根据上面给出的student表,编写Python程序完成如下操作:

(1)读取student表的数据内容,将其转为JSON格式,发送给Kafka;

创建Student表的SQL语句如下:

python 复制代码
create table student(
sno char(5),
sname char(10),
ssex char(2),
sage int
);

向student表中插入两条记录的SQL语句如下:

python 复制代码
insert into student values('95001','John','M',23);
insert into student values('95002','Tom','M',23);

启动zookeeper和kafka的服务

编写一个生产者程序mysql_producer.py:

python 复制代码
from kafka import KafkaProducer
import json
import pymysql.cursors

producer = KafkaProducer(bootstrap_servers='localhost:9092',value_serializer=lambda v:json.dumps(v).encode('utf-8'))

connect=pymysql.Connect(
    host='localhost',
    port=3306,
    user='root',
    passwd='123456',
    db='zhangna',
    charset='utf8'
)
cursor=connect.cursor()
sql="select sno,sname,ssex,sage from student;"
cursor.execute(sql)
data=cursor.fetchall()
connect.commit()

for message in data:
    zn={}
    zn['sno']=message[0]
    zn['sname']=message[1]
    zn['sex']=message[2]
    zn['age']=message[3]
    producer.send('mysql_topic',zn)

connect.close()
producer.close()

(2)再从Kafka中获取到JSON格式数据,打印出来;

编写一个消费者程序mysql_consumer.py:

python 复制代码
from kafka import KafkaConsumer
import json
import pymysql.cursors

consumer = KafkaConsumer('mysql_topic',bootstrap_servers=['localhost:9092'],group_id=None,auto_offset_reset='earliest')
for msg in consumer:
	msg1=str(msg.value,encoding="utf-8")
	data=json.loads(msg1)
	print(data)

终于出来了,出错的原因是encoding,我写成了encodings的缘故

为什么我会出现两条重复记录,原因是我生产者程序运行了多次,生产者多运行一次,消费者程序就会多一次查询

相关推荐
西岭千秋雪_2 分钟前
Redis性能优化
数据库·redis·笔记·学习·缓存·性能优化
极限实验室15 分钟前
INFINI Labs 产品更新 | INFINI Console 1.29.6 发布 – 优化监控图表异常毛刺等
数据库·产品
先睡18 分钟前
优化MySQL查询
数据库·sql
小张是铁粉35 分钟前
oracle的内存架构学习
数据库·学习·oracle·架构
专注API从业者39 分钟前
构建淘宝评论监控系统:API 接口开发与实时数据采集教程
大数据·前端·数据库·oracle
藏在歌词里42 分钟前
数据库-元数据表
数据库
小乌龟不会飞2 小时前
Ubuntu 安装 etcd 与 etcd-cpp-apiv3
数据库·etcd
程序员岳焱9 小时前
Java 与 MySQL 性能优化:Java 实现百万数据分批次插入的最佳实践
后端·mysql·性能优化
计算机毕设定制辅导-无忧学长9 小时前
西门子 PLC 与 Modbus 集成:S7-1500 RTU/TCP 配置指南(一)
服务器·数据库·tcp/ip
程序员柳10 小时前
基于微信小程序的校园二手交易平台、微信小程序校园二手商城源代码+数据库+使用说明,layui+微信小程序+Spring Boot
数据库·微信小程序·layui