启动命令汇总(Redis / Kafka / Flume / Spark)

本文总结了本地开发环境(Windows系统)中启动推荐系统所需的所有组件命令,包括 Redis、Kafka、Flume 及 SparkStreaming 程序的启动流程。


1. 启动 Redis

进入 Redis 安装目录,执行:

bash 复制代码
redis-server.exe

测试连接(另开一个终端)

bash 复制代码
redis-cli.exe

2. 启动 Zookeeper(Kafka依赖)

进入 Kafka 解压目录,执行:

bash 复制代码
bin\windows\zookeeper-server-start.bat config\zookeeper.properties

3. 启动 Kafka

(在另一个命令行窗口中操作)

bash 复制代码
bin\windows\kafka-server-start.bat config\server.properties

4. 创建 Kafka Topic

Kafka Topic 名称:logrecommender

进入 Kafka 解压目录,分别执行:

bash 复制代码
bin\windows\kafka-topics.bat --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic log
bash 复制代码
bin\windows\kafka-topics.bat --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic recommender

验证 Topics 是否创建成功

bash 复制代码
bin\windows\kafka-topics.bat --list --bootstrap-server localhost:9092

看到有 logrecommender 两个 topic 即成功!


5. 启动 Flume

假设你在 D:\code\apache-flume-1.9.0-bin 目录。

执行:

bash 复制代码
bin\flume-ng.cmd agent -n agent -c conf -f conf\log-kafka.properties -Dflume.root.logger=INFO,console

注意事项:

  • log-kafka.properties 中 source 改成监听 Windows 的日志文件,比如:

    复制代码
    D:\\Software\\ECommerceRecommendSystem\\WebServer\\src\\main\\log\\agent.log
  • Windows 必须用双反斜杠 \\ 或正斜杠 /


6. 启动 Kafka Stream 程序(log ➔ recommender 转换)

你的程序是 IDEA 里的 Java 程序:

  • 打开 com.IronmanJay.kafkastream.Application
  • 直接右键 → 运行 main 方法(绿色小三角)

✅ 成功后控制台应该输出:kafka stream started!


7. 启动 Spark Streaming 流处理服务

假设你的 Spark 项目已打成 jar 包,比如 streamingRecommender-1.0-SNAPSHOT.jar

命令格式:

bash 复制代码
spark-submit --class com.IronmanJay.streamingRecommender.StreamingRecommender D:\path\to\streamingRecommender-1.0-SNAPSHOT.jar

注意:

  • 本地运行 Spark,Master 设置 local[*]
  • MongoDB 地址记得是 localhost:27017
  • Kafka 也是 localhost:9092

8. 测试 Kafka 发送消息

打开生产者:

bash 复制代码
bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic recommender

然后直接输入(注意是一行 JSON,不要换行):

json 复制代码
{"uid":888,"pid":999,"score":4.5,"ts":1714149555}

回车发送!


总结:启动顺序建议

顺序 启动项 说明
1 Redis服务器 支持缓存
2 Zookeeper 支持Kafka协调
3 Kafka服务器 支持消息通信
4 创建 Kafka Topic log 和 recommender
5 Flume Agent 采集日志到Kafka
6 Kafka Stream 处理log并写入recommender
7 Spark Streaming 监听recommender,实时处理
8 测试Kafka生产者 发送一条模拟数据验证
相关推荐
莫得感情 o5 小时前
Redis 05 · 持久化:RDB 与 AOF 怎么保证数据不丢
redis·缓存
curd_boy6 小时前
【Redis】Redis从缓存到AI向量平台
人工智能·redis·缓存
莫得感情 o7 小时前
Redis 02 · 数据结构:String 到 Stream 怎么选
redis
devpotato8 小时前
缓存与数据库更新顺序不一致问题
java·数据库·redis
小白羊丨10 小时前
Kafka任务重试、退避与失败恢复怎么做?
分布式·kafka
NeverFear79213 小时前
【黑马点评】短信登录
java·redis·tomcat·intellij-idea
攻城有术14 小时前
专项攻克——重写 Redis 依赖包方法的 6 种实现方式
java·数据库·redis·bootstrap
spencer_tseng14 小时前
kylin redis-6.2.14.tar.gz
linux·redis·kylin·edis-6.2.14
xbgRS14 小时前
Redis基本概念及应用
redis·缓存
草莓熊Lotso15 小时前
【Redis 初阶】特殊数据类型、渐进式遍历与数据库操作生产指南
linux·网络·数据库·redis·tcp/ip·缓存·bootstrap