基于Spark的期刊推荐系统的设计与实现
项目简介
本系统是面向学术投稿场景的期刊智能推荐平台。用户输入待投稿论文 的标题、摘要与关键词后,系统基于 Apache Spark(PySpark MLlib)训练的文本分类模型,从 PubMed 生物医学公开数据中学习到的 469 本真实期刊里,返回 Top-5 投稿备选,并展示 ISSN、出版社、学科等元数据。
- 训练数据:LuckyLook PubMed Journal Recommendation(Zenodo)
- 期刊详情补充:DOAJ 开放获取期刊 CSV
- 管理员可在 Web 端重新发起 Spark 离线训练,并查看真实测试集评估指标
- 无 mock / 兜底假数据:推荐结果与统计均来自模型与数据库真实查询
文档索引
| 文档 | 说明 |
|---|---|
| 大文件交付说明.md | 超 100MB 文件网盘交付(db / train.csv) |
| 运行步骤必看/window.md | Windows 安装、一键启动、训练与排错 |
| 运行步骤必看/mac.md | macOS / Linux 安装与启动 |
| 训练手册.md | PySpark 训练流程、发布策略、指标说明 |
| <docs/dataset.md> | 数据集下载地址与引用格式 |
| 数据清理说明.md | 交付前清理(保留模型与原始数据) |
| 用户上传检测文件/README.md | 推荐功能测试样例用法 |
功能模块
| 模块 | 功能说明 |
|---|---|
| 用户认证 | 注册、登录、退出;管理员 / 普通用户两级权限 |
| 数据概览 | 论文量、期刊数、训练/测试划分、推荐次数;热门期刊、学科/国家分布、推荐趋势图 |
| 投稿推荐 | 输入论文信息,返回 Top-5 及推荐强度(强烈推荐 / 推荐 / 可考虑)、相对强度条、推荐理由;仅输刊名时引导至期刊库 |
| 期刊库 | 浏览与搜索 469 本期刊;详情页;CSV 导出 |
| 论文库 | 浏览 PubMed 训练/测试论文,支持关键词检索 |
| 模型训练 | 管理员异步启动 Spark 训练;查看 Top-1/3/5 准确率、F1、历史记录;仅成功才替换线上模型 |
| REST API | 概览、推荐、期刊/论文检索、训练启停状态、期刊导出等 JSON 接口 |
推荐结果如何理解
| 概念 | 说明 |
|---|---|
| 推荐强度 | 面向用户的档位文案,表示本次 Top-5 内的相对优先程度 |
| 相对强度 | 将本次第 1 名记为 100,其余按模型概率比例缩放,便于看进度条 |
| 模型原始概率 | 后台 NaiveBayes 类别概率,用于排序;不在前台用「录取率」误导 |
| 不是 | 影响因子、录用率、或「搜刊名必出 99%」 |
正确用法:粘贴论文标题 + 摘要做投稿推荐。若只输入期刊名,系统会提示去「期刊库」查询。
推荐期刊范围
训练与推荐覆盖 469 本生物医学相关期刊(2018--2022 年 PubMed 过滤子集,每刊至少约 200 篇)。结果为真实期刊名,非虚构。
典型库规模(以当前导入为准):论文约 21 万篇(训练约 15.7 万 / 测试约 5.3 万)。
标准版目录结构
python-spark-tuijian/
├── app.py # Flask 入口
├── config.py # 相对路径、端口、数据库、Spark Python
├── requirements.txt # Python 依赖(含 pyspark)
├── README.md # 文档入口
├── mac_run.sh # macOS/Linux 一键启动
├── window_run.bat # Windows 一键启动(英文脚本)
├── mac_clear_all.sh # 交付前清理
├── 项目说明.md / 训练手册.md / 数据清理说明.md
├── app/
│ ├── routes/ # auth / main / api
│ └── services/ # recommender / stats
├── spark/train_model.py # PySpark 训练(成功才发布)
├── scripts/ # 下载、建库、导入、静态资源
├── data/raw/pubmed/ # PubMed CSV
├── data/doaj/ # DOAJ CSV
├── database/journal_rec.db # SQLite
├── models/
│ ├── spark_model/ # 正式线上模型
│ ├── label_indexer/
│ ├── journal_index.json
│ ├── metrics.json
│ └── _train_staging_*/ # 训练临时目录(成功后删除)
├── templates/ / static/
├── docs/dataset.md
├── 运行步骤必看/window.md | mac.md
└── 用户上传检测文件/ # 测试样例
技术栈
| 类别 | 技术 |
|---|---|
| 后端 | Python 3.12 + Flask 3.0 |
| 数据库 | SQLite 3 |
| 训练 / 推理 | Apache Spark 3.5 + PySpark 3.5.1 (在 .venv) |
| 算法 | Tokenizer + HashingTF(2048) + NaiveBayes(multinomial) |
| 前端 | Bootstrap 5.3 + ECharts 5.5(本地 vendor) |
| 数据 | LuckyLook PubMed(Zenodo)+ DOAJ CSV |
环境要求
| 项目 | 要求 |
|---|---|
| Python | 3.12(Mac:python3.12;Windows:python 并加入 PATH) |
| Java | JDK 8+(系统安装,不能装进 venv) |
| 内存 | 建议 ≥ 8GB(训练时) |
| 磁盘 | 约 1GB+(数据 + 模型 + 依赖) |
| OS | Windows 10/11、macOS、Linux |
快速启动
交付包已含数据与模型。对方只需安装依赖并启动,不会自动下载或训练。
bash
# macOS / Linux
chmod +x mac_run.sh && ./mac_run.sh
bat
REM Windows:双击或执行
window_run.bat
账号
| 角色 | 用户名 | 密码 | 权限 |
|---|---|---|---|
| 管理员 | admin | admin123 | 全部(含训练) |
| 普通用户 | 自行注册 | 自行设置 | 推荐与浏览 |
访问地址
- 端口:6000--9000 随机,写入根目录
.port - 终端打印:
http://127.0.0.1:端口号
API 与性能(摘要)
| 接口 | 说明 |
|---|---|
POST /api/recommend |
投稿推荐;刊名查询返回 code: 2 引导期刊库 |
GET /api/stats/overview |
概览统计 |
GET /api/journals / papers |
分页检索 |
GET /api/metrics |
训练指标(无模型时 404) |
POST /api/training/start |
管理员异步训练 |
GET /api/training/status |
训练状态轮询 |
GET /api/export/journals |
期刊 CSV |
首次推荐可能因 Spark 冷启动较慢(约十余秒),之后热请求约 0.2--0.3 秒;应用启动后会后台预热模型。