前面部分完成了系统需求分析，了解到新闻数据业务方面的需求，系统主要分为用户管理、五金信息管理、在线留言、系统管理等功能。销的可视化研究，并对这些数据进行处理， 然后对这些数据进行可视化分析和统计。
Python 爬虫技术目前来说，是比较常用的从网页获取数据的方法之一。而 Python 语言也是比较受欢迎，尤其是在人工智能和大数据领域有着广泛的应用。特别是 Python 的第三方库，让人们能够通过简单的代码解决更多的难题。同时对数据的处理也比较方便快捷。
其中主要通过Requests，Beautifulsoup 进行网页分析和数据爬取，然后再使用 Numpy，Matplotlib，Pandas对所爬取的数据进行可视化分析。还通过聚类算法，依据所爬取的数据进行一个总结，使我们了解宁波五金电商网络营销的可视化研究的基本特征和五金信息的情况，帮助他人做出决策。
关键词：Python；爬虫；可视化分析；聚类算法
（1）系统登录模块设计。用户查看数据，可视化图表查看展示。
本课题使用Python语言进行开发。基于web,代码层面的操作主要在PyCharm中进行，将系统所使用到的表以及数据存储到MySQL数据库中
技术栈
后端：python
前端：vue.js+elementui
框架：django/flask
Python版本：python3.7+
数据库：mysql5.7
数据库工具：Navicat
开发软件：PyCharm .
用户进入大数据技术的新闻数据之前，要先进行用户名、密码和身份信息的验证。在系统的登录页面，输入自己的用户名，密码，选择身份。如果用户名、密码、身份这三种信息都存在于数据库中，那么用户就可以进入该系统。如果后台数据库验证不通过，则登陆失败，用户进行注册操作的流程图如图3-1，
目 录
摘要 I
Abstract II
第一章 绪论 1
1.1 课题背景 2
1.2 大数据的意义 3
1.3 研究现状 4
第二章 设计中的关键技术 5
2.1 相关理论技术 7
2.1.1 Python简介 9
2.1.2 爬虫技术简介 9
2.1.3相关第三方库 9
2.1.4 数据可视化 9
2.1.5 Django框架简介 9
2.1.6 hive简介 9
第三章 需求分析 10
3.1 可行性分析 11
3.2 本文主要工作 12
3.3 业务流程分析 13
3.4 功能需求 13
第四章 系统设计 14
4.1 功能模块设计 15
4.2 数据库E-R图 15
4.3 数据库表设计 15
第五章 详细设计与实现 16
5.1前台用户功能的实现 17
5.2管理员的功能实现 19
5.3看板展示 19
第6章 系统测试运行 20
6.1 模块测试 21
6.2 系统整体测试 22
6.3 测试过程 23
总 结 24
致 谢 25
参考文献 26