启动命令汇总(Redis / Kafka / Flume / Spark)

本文总结了本地开发环境(Windows系统)中启动推荐系统所需的所有组件命令,包括 Redis、Kafka、Flume 及 SparkStreaming 程序的启动流程。


1. 启动 Redis

进入 Redis 安装目录,执行:

bash 复制代码
redis-server.exe

测试连接(另开一个终端)

bash 复制代码
redis-cli.exe

2. 启动 Zookeeper(Kafka依赖)

进入 Kafka 解压目录,执行:

bash 复制代码
bin\windows\zookeeper-server-start.bat config\zookeeper.properties

3. 启动 Kafka

(在另一个命令行窗口中操作)

bash 复制代码
bin\windows\kafka-server-start.bat config\server.properties

4. 创建 Kafka Topic

Kafka Topic 名称:logrecommender

进入 Kafka 解压目录,分别执行:

bash 复制代码
bin\windows\kafka-topics.bat --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic log
bash 复制代码
bin\windows\kafka-topics.bat --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic recommender

验证 Topics 是否创建成功

bash 复制代码
bin\windows\kafka-topics.bat --list --bootstrap-server localhost:9092

看到有 logrecommender 两个 topic 即成功!


5. 启动 Flume

假设你在 D:\code\apache-flume-1.9.0-bin 目录。

执行:

bash 复制代码
bin\flume-ng.cmd agent -n agent -c conf -f conf\log-kafka.properties -Dflume.root.logger=INFO,console

注意事项:

  • log-kafka.properties 中 source 改成监听 Windows 的日志文件,比如:

    复制代码
    D:\\Software\\ECommerceRecommendSystem\\WebServer\\src\\main\\log\\agent.log
  • Windows 必须用双反斜杠 \\ 或正斜杠 /


6. 启动 Kafka Stream 程序(log ➔ recommender 转换)

你的程序是 IDEA 里的 Java 程序:

  • 打开 com.IronmanJay.kafkastream.Application
  • 直接右键 → 运行 main 方法(绿色小三角)

✅ 成功后控制台应该输出:kafka stream started!


7. 启动 Spark Streaming 流处理服务

假设你的 Spark 项目已打成 jar 包,比如 streamingRecommender-1.0-SNAPSHOT.jar

命令格式:

bash 复制代码
spark-submit --class com.IronmanJay.streamingRecommender.StreamingRecommender D:\path\to\streamingRecommender-1.0-SNAPSHOT.jar

注意:

  • 本地运行 Spark,Master 设置 local[*]
  • MongoDB 地址记得是 localhost:27017
  • Kafka 也是 localhost:9092

8. 测试 Kafka 发送消息

打开生产者:

bash 复制代码
bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic recommender

然后直接输入(注意是一行 JSON,不要换行):

json 复制代码
{"uid":888,"pid":999,"score":4.5,"ts":1714149555}

回车发送!


总结:启动顺序建议

顺序 启动项 说明
1 Redis服务器 支持缓存
2 Zookeeper 支持Kafka协调
3 Kafka服务器 支持消息通信
4 创建 Kafka Topic log 和 recommender
5 Flume Agent 采集日志到Kafka
6 Kafka Stream 处理log并写入recommender
7 Spark Streaming 监听recommender,实时处理
8 测试Kafka生产者 发送一条模拟数据验证
相关推荐
LCY13313 分钟前
python 与Redis操作整理
开发语言·redis·python
lovebugs3 小时前
Redis高可用架构全解析:主从复制、哨兵模式与集群实战指南
redis·后端·面试
快乐点吧3 小时前
【Flume 】Windows安装步骤、配置环境
大数据·windows·flume
不要天天开心3 小时前
Kafka与Spark-Streaming:大数据处理的黄金搭档
kafka·scala
南隅。4 小时前
【Redis】基础2:作为缓存
redis·缓存
TE-茶叶蛋5 小时前
Redis 原子操作
数据库·redis·缓存
chxii7 小时前
18.2.go语言redis中使用lua脚本
redis·go·lua
李菠菜7 小时前
Redis主从/哨兵/集群离线部署指南
linux·运维·redis
BruceNeter7 小时前
C# 使用StackExchange.Redis实现分布式锁的两种方式
redis·c#
煤烦恼9 小时前
kafka整合flume与DStream转换
分布式·kafka