个人简介
一名14年经验的资深毕设内行人，语言擅长Java、php、微信小程序、Python、Golang、安卓Android等
开发项目包括大数据、深度学习、网站、小程序、安卓、算法。平常会做一些项目定制化开发、代码讲解、答辩教学、文档编写、也懂一些降重方面的技巧。
感谢大家的关注与支持！
各位评委老师好！我是xx同学，我的毕业设计题目是《基于Hadoop的空气质量数据分析及可视化系统》。该系统旨在解决传统空气质量监测中数据量大、处理效率低、展示不直观等问题。系统采用B/S架构，使用Java作为开发语言，结合Jsoup爬虫技术从互联网采集数据，利用Hadoop分布式计算框架进行数据存储和MapReduce编程模型进行数据分析处理，最终将结果存储到MySQL数据库，并通过可视化大屏展示。
系统主要分为管理员和用户两个角色：管理员 可进行数据收集配置、数据清洗预处理、数据分析挖掘、数据存储管理、可视化图表生成、云计算资源调度以及实时监控预警；用户可查看实时空气质量数据（PM2.5、PM10等指标）、查看AQI指数、浏览趋势图表以及接收预警信息。
技术栈方面，后端采用Java+Spring Boot，数据采集使用Jsoup爬虫，大数据处理采用Hadoop+MapReduce+HBase/Hive，数据存储使用MySQL+分布式数据库，前端使用ECharts实现可视化展示，部署考虑阿里云等云计算平台。
以上是我的开题陈述，请各位老师批评指正。
评委老师： 你选择Hadoop作为大数据处理框架，请问Hadoop的核心组件有哪些？它们各自起什么作用？
答辩学生： Hadoop主要包含两个核心组件。第一个是HDFS（Hadoop Distributed File System），它是一个分布式文件系统，负责将大数据分散存储在多台服务器上，实现高容错性和高吞吐量。第二个是MapReduce，它是一个编程模型和处理框架，负责将大数据计算任务分解成Map（映射）和Reduce（归约）两个阶段，实现并行计算。简单说，HDFS管存储，MapReduce管计算。
评委老师： 你提到用Jsoup做爬虫采集数据，如果目标网站有反爬虫机制，比如需要登录或者限制访问频率，你打算怎么处理？
答辩学生： 针对这个问题，我考虑了几种解决方案。第一，对于需要登录的网站，可以使用Jsoup的session功能模拟登录，携带cookie进行访问。第二，对于访问频率限制，可以设置合理的请求间隔时间，比如每次请求后休眠1-2秒，避免过于频繁的访问。第三，可以设置User-Agent头信息，模拟真实浏览器访问。如果反爬机制比较严格，我也准备考虑使用Selenium等工具作为备选方案。
评委老师： 你的系统里提到用MySQL存储数据，又说用HBase或Hive，请问这两种存储方式有什么区别？你打算如何配合使用？
答辩学生： 这个问题我确实需要再明确一下。我计划这样配合使用：用MySQL存储结构化的小规模数据，比如用户信息、配置参数、最终的统计结果等；用HBase或Hive存储海量的原始空气质量数据。具体来说，爬虫采集的原始数据量大且格式可能不一致，先存入HBase或Hive中进行分布式存储；经过MapReduce分析处理后，将最终的统计结果导出到MySQL，方便前端快速查询展示。这样既能发挥大数据技术的优势，又能保证查询效率。
评委老师： 你系统的用户端功能主要是查看数据，你觉得这个实用性强吗？和市面上现有的天气预报APP有什么区别？
答辩学生： 确实存在差距。我的系统优势在于数据来源更专业，可以针对特定区域或特定数据源进行定制化监测，而且管理员可以配置采集任务，灵活性更强。另外，我的系统提供历史数据趋势分析和预警功能，不仅是展示当前数据，还能分析变化规律。虽然功能上没有商业APP全面，但作为毕业设计，重点是实现大数据技术的完整应用流程，从采集、存储、处理到可视化的闭环，体现技术学习的成果。
评委老师： 你的计划进度表里写的是2023年12月到2024年6月，这个时间明显有问题，请你说一下合理的2025年进度安排应该是怎样的？
答辩学生： 抱歉，这是文档模板没有及时更新的问题。合理的2025年进度安排应该是：2025年1月初至1月中旬完成文献阅读和开题报告；1月下旬至2月完成需求分析和系统设计；3月至4月中旬完成系统开发和论文初稿；4月下旬至5月中旬进行系统测试、论文修改和预答辩；5月下旬参加正式答辩；6月初完成文档归档。
评委老师： 如果系统在实际运行中发现Hadoop配置复杂、你的电脑跑不动，有没有更轻量级的替代方案？
答辩学生： 有的。如果单机资源有限，我考虑几种降级方案。第一，可以使用Hadoop的伪分布式模式在一台机器上模拟集群环境。第二，可以使用Apache Spark替代，Spark支持单机运行，处理速度更快，API也更简单。第三，如果数据量确实不大，可以直接用Java多线程处理数据，MySQL存储，保证系统能完整运行，只是弱化了"大数据"这个技术亮点，但核心功能都能实现。
答辩评价与总结
评委老师：
xx同学今天的开题答辩总体表现良好，准备比较充分。你的选题《基于Hadoop的空气质量数据分析及可视化系统》具有一定的实用价值和技术深度，能够涵盖从数据采集、分布式存储、并行计算到可视化的完整技术链条，符合本科毕业设计的要求。
优点方面： 技术路线清晰，选择了当前主流的Hadoop生态技术；功能模块划分明确，考虑了管理员和用户两种角色；对可能遇到的问题（如反爬虫、硬件资源限制）有一定的预案准备。
需要改进的方面： 第一，进度计划中的时间要及时更新为2025年，注意文档细节的准确性；第二，技术方案需要进一步细化，特别是MySQL和HBase/Hive的具体数据流转逻辑要明确；第三，系统的创新点和核心竞争力需要再提炼，避免和现有商业产品同质化；第四，建议提前搭建好开发环境，避免因配置问题影响后续进度。
建议你接下来的工作重点：一是尽快完成开发环境的搭建和爬虫程序的测试；二是明确系统的数据源，最好能确定1-2个具体的数据网站；三是简化部分功能，保证核心模块（数据采集-Hadoop处理-可视化展示）能稳定运行。
鉴于以上情况，我同意xx同学通过开题答辩，可以进入系统设计和开发阶段。希望你在接下来的几个月里按计划推进，遇到问题及时与指导教师沟通。祝顺利完成毕业设计！
以上是某同学的毕业设计答辩的过程，如果你现在还没有参加答辩，还是开题阶段，已经选好了题目不知道怎么写开题报告，可以下面找找有没有自己符合自己题目的开题报告内容，列表中的开题报告都是往届真实的开题报告，可发送使用或参考。文末或底部来联xi可免费获取
最后
有时间和有基础的同学，建议自己多花时间找一下资料（开题报告、源码）自己独立完成毕设，需要开题报告内容、源码参考的，可以联xi博主，没有选题的也可以联系我们进行帮你选题、定功能和建议。