【MongoDB + Spark】 技术问题汇总与解决方案笔记

场景背景

最近练手项目:Spark 结合 MongoDB 构建商品推荐系统的过程中,过程中出现多种环境配置与兼容性问题,主要涉及 MongoDB 连接、版本兼容性、Casbah 驱动使用问题等。汇总调试过程中遇到的常见错误及其解决方案,供参考复用。


一、MongoDB 无法连接错误

错误现象

复制代码
com.mongodb.MongoTimeoutException: Timed out after 30000 ms while waiting for a server that matches WritableServerSelector...
Caused by: java.net.UnknownHostException: linux

原因分析

  • MongoDB URI 中使用了错误的主机名 linux
  • 本机没有叫 linux 的 host,也没有在 hosts 文件中做映射

解决方案

scala 复制代码
// 将配置中的 URI 改为 localhost 或本地 IP
"mongo.uri" -> "mongodb://localhost:27017/orecommender"

检测连接可以拿navicat去连接


二、MongoDB Shell 无法使用 mongosh 命令

错误现象

复制代码
'mongosh' 不是内部或外部命令

原因分析

  • 安装的是 MongoDB 的旧版本(如 4.x),默认没有 mongosh
  • 环境变量配置可能未添加或路径错误

解决方案

  • 使用 mongo 命令替代 mongosh

  • 检查并添加环境变量 Path:

    C:\Program Files\MongoDB\Server\4.4\bin


三、连接正常但执行 .dropCollection() 报错

错误现象

复制代码
com.mongodb.MongoCommandException: Command failed with error 352: 'Unsupported OP_QUERY command: drop'

原因分析

  • 当前 MongoDB 为 v5.x 或 v6.x
  • 使用的 Casbah 驱动过老,使用了已废弃的 OP_QUERY 协议
  • MongoDB 6.0+ 默认禁用了对旧协议的支持

解决方案

  • 方法一:注释掉 .dropCollection()
scala 复制代码
// productCollection.dropCollection()
// ratingCollection.dropCollection()
  • 方法二:手动在 Compass 或 mongo shell 中删除集合
js 复制代码
use orecommender
db.Product.drop()
db.Rating.drop()
  • 方法三(长期):升级 MongoDB Java 驱动 + 改写为 Mongo Spark Connector 10.x

四、兼容推荐版本说明

组件 推荐版本
MongoDB 4.2.x 或 4.4.x
Casbah 驱动 兼容 Mongo <= 4.4
Spark + Mongo 连接器 Mongo Spark Connector 2.4(老版)

五、降级 MongoDB 操作步骤(Windows)

  1. 卸载当前 MongoDB(控制面板)
  2. 下载旧版本(如 MongoDB 4.4):
  3. 安装 .msi 并设置为服务
  4. 验证:
bash 复制代码
mongod -version
mongo

六、配置环境变量路径建议

bash 复制代码
JAVA_HOME=C:\Program Files\Java\jdk1.8.0_xx
MONGO_BIN=C:\Program Files\MongoDB\Server\4.4\bin
  • 添加到系统 Path:

    %JAVA_HOME%\bin
    %MONGO_BIN%

相关推荐
Huathy-雨落江南,浮生若梦30 分钟前
Caddy 学习笔记 - 反向代理与 IP 封禁
笔记·学习·tcp/ip
谢白羽2 小时前
SGLang的AWQ量化笔记
笔记·python·sglang
噜~噜~噜~2 小时前
操作系统笔记-2.3.5.2 读者-写者问题
笔记·操作系统
MindUp3 小时前
企业私有化文件管理系统选型实录:从部署架构到AI能力的技术调研笔记
人工智能·笔记·架构
GGMM7894 小时前
西门子BOP20基本操作面板超详细教程(S120/G130专用)
笔记·变频器·变频器维修
一条破秋裤4 小时前
TIM 输入捕获与 PWMI:从边沿到频率、占空比
笔记·stm32·学习
知产xiao_xin5 小时前
知识产权入门 —— 工业品外观设计
经验分享·笔记·知识产权
小猪code5 小时前
frp 80/443 Web 服务两种部署模式实操笔记
前端·笔记
熊猫钓鱼>_>5 小时前
鸿蒙AI Agent新范式:从“对话式辅助”到“工程化代理”的Harness架构实战解析
人工智能·笔记·学习·华为·架构·harmonyos
GGMM7895 小时前
西门子 AAOP 亚洲高级操作面板详解(MM420/MM440 专用)
笔记·变频器·变频器维修