地区空气质量数据分析系统
系统概述
地区空气质量数据分析系统是一个基于大数据和深度学习的智能空气质量监测与预测平台。系统采用Apache Spark进行高效的大规模数据预处理，利用TensorFlow构建LSTM深度学习模型实现精准的AQI预测，通过Flask框架提供RESTful API服务，结合Bootstrap和ECharts打造直观的可视化界面。系统采用前后端分离架构，包含用户端和管理端两大模块，用户端面向公众提供实时空气质量查询和历史趋势分析，管理端面向管理员提供数据管理、模型训练和系统配置功能。系统基于SQLite实现轻量化数据存储，采用Session机制实现用户认证与权限管理，确保数据安全与操作可控。
核心功能说明
1. Spark数据预处理
基于Apache Spark实现大规模空气质量数据的高效预处理。系统通过PySpark从SQLite数据库加载原始数据，执行数据清洗操作包括缺失值填充、无效数据过滤和异常值处理。在特征工程阶段，系统自动计算温度差、AQI等级编码等衍生特征，提升数据质量。处理后的数据保存为CSV格式，为后续LSTM模型训练提供高质量数据支持。整个流程采用分布式计算，大幅提升处理效率。
2. LSTM模型训练
使用TensorFlow 2.x构建深度长短期记忆网络模型，实现对许昌地区AQI的时序预测。模型采用多层LSTM架构，通过历史气象数据和AQI数据训练，学习空气质量变化规律。训练过程中支持自定义序列长度、训练轮数和批次大小，并自动划分训练集和验证集进行模型评估。训练完成的模型以.keras格式保存，同时同步保存数据标准化器Scaler，确保预测时数据处理的一致性。
3. 空气质量预测
基于训练完成的LSTM模型，实现未来7天AQI的智能预测。系统自动加载最新训练好的模型和标准化器，从数据库获取历史数据作为预测输入，通过递归预测方式生成未来多天的AQI值。预测结果包含具体数值、空气质量等级和颜色标识，支持在用户端和管理端可视化展示。预测功能为公众和决策者提供科学的空气质量预警信息。
4. 用户注册功能
提供完整的用户注册服务，支持新用户通过用户名、密码和邮箱注册账户。系统对注册信息进行严格的格式验证，包括用户名非空、密码长度不少于6位、邮箱格式合法性检查。密码采用SHA256哈希加密存储，确保用户信息安全。注册成功后自动分配普通用户权限，用户可立即登录系统访问用户端功能。
5. 用户登录功能
实现基于Session的用户身份认证。用户通过用户名和密码登录，系统验证密码哈希值匹配后创建用户会话，在Session中存储用户ID、用户名、邮箱和角色信息。登录成功后根据用户角色跳转到对应页面，普通用户访问用户端，管理员可访问管理端。采用Session机制确保登录状态持久化，支持安全的用户身份管理。
6. 用户登出功能
提供安全便捷的登出服务。用户点击登出后，系统自动清除Session中存储的所有用户信息，终止当前会话状态。登出成功后重定向到登录页面，防止未授权访问。登出功能确保用户在公共环境下能够安全退出系统，保护账户隐私和数据安全。
7. 用户管理功能
为管理员提供完整的用户管理能力。管理员可查看所有注册用户的详细信息，包括用户名、邮箱、注册时间和角色权限。支持对用户角色进行编辑，将普通用户升级为管理员或降级权限。用户管理功能采用权限控制，仅管理员账户可访问，确保系统操作的安全性和可控性。
8. 数据查询功能
用户端和管理端均提供灵活的数据查询服务。用户端支持按数量限制获取空气质量数据，默认返回最近30天记录，便于查看近期趋势。管理端提供分页查询功能，支持自定义每页显示条数和页码，便于浏览海量历史数据。查询结果包含完整的空气质量信息，包括日期、天气、温度、AQI及其等级，支持数据表格和图表可视化展示。
9. 数据添加功能
管理端提供新增空气质量记录的功能。管理员可手动输入新的空气质量数据，包括日期、星期、最高温度、最低温度、天气状况、风向风力等字段。系统自动根据输入的AQI值计算空气质量等级，无需手动填写。添加功能支持批量录入，便于补充缺失的历史数据或添加实时监测数据。
10. 数据编辑功能
管理员可对已有空气质量记录进行修改。通过记录ID定位目标数据，支持更新除ID外的所有字段内容。编辑功能提供数据验证，确保修改后的数据符合业务规则。系统在更新时重新计算AQI等级，保证数据的一致性。数据编辑功能支持纠正历史数据错误或调整不准确的记录。
11. 数据删除功能
提供对空气质量记录的删除能力。管理员可根据记录ID删除错误的或不再需要的数据条目。删除操作采用物理删除，直接从数据库移除记录。系统在删除前进行权限验证，防止普通用户误删数据。删除功能支持维护数据的准确性和整洁性。
12. 统计分析功能
系统提供丰富的统计分析能力。自动计算平均AQI、最高AQI、最低AQI等关键指标，统计不同空气质量等级的天数分布。用户端可查看总体统计概况，管理端支持按月份、季度等多维度统计分析。统计结果以数值和图表形式展示，便于快速了解空气质量整体状况和变化趋势。
13. 趋势可视化功能
基于ECharts实现强大的数据可视化展示。用户端提供AQI历史趋势折线图、空气质量等级饼图、温度变化曲线图等多种图表。管理端支持月度趋势对比、天气分布统计、AQI季节性变化等高级可视化。图表支持交互操作，包括数据缩放、图例切换、数值提示等，提供直观的数据展示体验。
14. 权限验证装饰器
实现基于装饰器的权限验证机制。通过@login_required装饰器保护需要登录的API接口，未登录用户自动跳转到登录页面。通过@admin_required装饰器限制管理员功能访问，普通用户请求返回403权限错误。装饰器设计简洁易用，可在任意路由函数上直接添加，实现细粒度的权限控制。
15. Session会话管理
采用Flask Session实现用户会话管理。系统在用户登录后创建加密Session，存储用户身份信息和权限状态。Session配置了安全的密钥和过期策略，防止会话劫持。通过Session判断用户登录状态和角色权限，实现无状态的HTTP请求上下文维护。Session机制支持多用户并发访问，确保系统稳定运行。
16. 密码安全加密
用户密码采用SHA256哈希算法加密存储。在注册和修改密码时，系统自动对明文密码进行哈希运算，生成不可逆的密文存储到数据库。登录验证时对输入密码进行相同哈希运算后与存储值比对，确保密码安全。SHA256加密符合密码安全最佳实践，即使数据库泄露也无法还原原始密码。
技术架构
许昌地区空气质量数据分析系统
├── 数据层
│ ├── SQLite数据库 (air_quality.db)
│ └── CSV中间文件
├── 数据处理层
│ ├── PySpark预处理
│ └── Pandas数据处理
├── 模型层
│ ├── TensorFlow 2.x
│ └── LSTM深度学习模型
├── 服务层
│ ├── Flask 3.0 Web框架
│ ├── RESTful API
│ └── Session认证
├── 展示层
│ ├── Bootstrap 5.3 UI框架
│ └── ECharts 5.4 可视化
└── 安全层
├── 用户认证
├── 权限管理
└── 密码加密快速开始
- 安装依赖 :
pip install -r requirements.txt - 初始化数据 :
python data_processing/init_data.py - 启动服务 :
python app.py - 访问系统: http://localhost:5000/user
- 管理端: http://localhost:5000/admin (默认账号: admin/admin123)