一、目的
在用Java对原Kafka的JSON字段解析成一条条数据,然后写入另一个Kafka中,代码写完后打成jar包,放在Linux中,直接用海豚调度运行
二、Java利用fastjson解析复杂嵌套json字符串
这一块主要是参考了这个文档,然创建springBoot项目
Java利用fastjson解析复杂嵌套json字符串_mob64ca12edea6e的技术博客_51CTO博客
三、先用clean,然后package打成jar,放在Linux中
找一个自己熟悉的路径,我的是和Hadoop等工具放一块,/usr/local/hurys/dc_env
四、jar命令
五、在海豚中创建工作流
#!/bin/bash
source /etc/profile
cd /usr/local/hurys/dc_env/
java -jar hurrys-jw-kafka-1.0.0.jar
六、执行任务流,然后运行Flume采集任务,并在HDFS中验证
搞定!!!