启动命令汇总(Redis / Kafka / Flume / Spark)

本文总结了本地开发环境(Windows系统)中启动推荐系统所需的所有组件命令,包括 Redis、Kafka、Flume 及 SparkStreaming 程序的启动流程。


1. 启动 Redis

进入 Redis 安装目录,执行:

bash 复制代码
redis-server.exe

测试连接(另开一个终端)

bash 复制代码
redis-cli.exe

2. 启动 Zookeeper(Kafka依赖)

进入 Kafka 解压目录,执行:

bash 复制代码
bin\windows\zookeeper-server-start.bat config\zookeeper.properties

3. 启动 Kafka

(在另一个命令行窗口中操作)

bash 复制代码
bin\windows\kafka-server-start.bat config\server.properties

4. 创建 Kafka Topic

Kafka Topic 名称:logrecommender

进入 Kafka 解压目录,分别执行:

bash 复制代码
bin\windows\kafka-topics.bat --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic log
bash 复制代码
bin\windows\kafka-topics.bat --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic recommender

验证 Topics 是否创建成功

bash 复制代码
bin\windows\kafka-topics.bat --list --bootstrap-server localhost:9092

看到有 logrecommender 两个 topic 即成功!


5. 启动 Flume

假设你在 D:\code\apache-flume-1.9.0-bin 目录。

执行:

bash 复制代码
bin\flume-ng.cmd agent -n agent -c conf -f conf\log-kafka.properties -Dflume.root.logger=INFO,console

注意事项:

  • log-kafka.properties 中 source 改成监听 Windows 的日志文件,比如:

    复制代码
    D:\\Software\\ECommerceRecommendSystem\\WebServer\\src\\main\\log\\agent.log
  • Windows 必须用双反斜杠 \\ 或正斜杠 /


6. 启动 Kafka Stream 程序(log ➔ recommender 转换)

你的程序是 IDEA 里的 Java 程序:

  • 打开 com.IronmanJay.kafkastream.Application
  • 直接右键 → 运行 main 方法(绿色小三角)

✅ 成功后控制台应该输出:kafka stream started!


7. 启动 Spark Streaming 流处理服务

假设你的 Spark 项目已打成 jar 包,比如 streamingRecommender-1.0-SNAPSHOT.jar

命令格式:

bash 复制代码
spark-submit --class com.IronmanJay.streamingRecommender.StreamingRecommender D:\path\to\streamingRecommender-1.0-SNAPSHOT.jar

注意:

  • 本地运行 Spark,Master 设置 local[*]
  • MongoDB 地址记得是 localhost:27017
  • Kafka 也是 localhost:9092

8. 测试 Kafka 发送消息

打开生产者:

bash 复制代码
bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic recommender

然后直接输入(注意是一行 JSON,不要换行):

json 复制代码
{"uid":888,"pid":999,"score":4.5,"ts":1714149555}

回车发送!


总结:启动顺序建议

顺序 启动项 说明
1 Redis服务器 支持缓存
2 Zookeeper 支持Kafka协调
3 Kafka服务器 支持消息通信
4 创建 Kafka Topic log 和 recommender
5 Flume Agent 采集日志到Kafka
6 Kafka Stream 处理log并写入recommender
7 Spark Streaming 监听recommender,实时处理
8 测试Kafka生产者 发送一条模拟数据验证
相关推荐
鹿角片ljp1 小时前
苍穹外卖 day05:店铺营业状态设置与Redis入门实战
数据库·redis·缓存
Demon_Hao2 小时前
JAVA通过Redis实现Key分区分片聚合点赞、收藏等计数同步数据库,并且通过布隆过滤器防重复点赞
java·数据库·redis
eggwyw6 小时前
MySQL 与 Redis 的数据一致性问题
数据库·redis·mysql
秦jh_6 小时前
【Redis】Set和Zset
数据库·redis·缓存
Nyarlathotep01137 小时前
Redis的数据结构(4):跳表
数据库·redis
Thomas.Sir7 小时前
深入剖析 Redis 经典面试题
redis·分布式·高并发·
xdpcxq102911 小时前
Redis 故障排查 + 跨语言重构场景实测
数据库·redis·重构
`Jay11 小时前
Python Redis连接池&账号管理池
redis·分布式·爬虫·python·学习
零雲12 小时前
java面试:了解Redis的分布式限流算法么?
java·redis·面试
阿里云云原生12 小时前
悠悠有品:RocketMQ 稳扛核心交易,Kafka 驱动海量数据,支撑高并发游戏饰品交易平台
kafka·rocketmq