摘要
时代在飞速进步,每个行业都在努力发展现在先进技术,通过这些先进的技术来提高自己的水平和优势,食物营养成分数据分析平台当然不能排除在外。食物营养成分数据分析平台是在实际应用和软件工程的开发原理之上,运用Java语言、爬虫技术、数据可视化技术以及SSM框架进行开发,可以让用户实现在线查看美食信息、公告信息,并进行在线留言和发帖等操作。在系统开发之前首先要进行需求分析,分析出食物营养成分数据分析平台的主要功能,然后设计了系统结构。整体设计包括系统的功能、系统总体结构、系统数据结构和对系统安全性进行设计;最后要对系统进行测试,还要对测试的结果进行总结和分析,为以后系统的维护提供方便,也为以后类似系统的开发提供参考和帮助。这种个性化的网络系统管理更重视相互协调和管理合作,能激发管理者的创造性和主动性,这对食物营养成分数据分析管理来说非常有益。
绪 论
1.1 课题的研究背景 随着社会不断进步,经济不断发展,人们的生活水平在不断提高,对于食物营养的关注也越来越高了。我这次开发的食物营养成分数据分析平台主要通过计算机网络,对食物营养成分数据分析平台所需的信息进行统一管理,通过使用爬虫技术,让管理员可以通过点击爬取数据的按钮,一键爬取获得相关美食信息,非常方便。本系统极大的促进了系统与数据库管理系统软件之间的配合,满足了绝大部分用户的需求,给用户带来了很大的便利。以现在计算机的技术的应用,使计算机成为人们使用现代发达技术的桥梁。计算机可以有效的解决信息,十分方便的获取信息,从而提高工作的效率。
1.2 课题研究目的 全球经济在快速的发展,中国更是进步飞速,这使得国内的互联网技术进入了发展的高峰时期,这让中外资本不断转向互联网这个大市场。在这个信息高度发达的现在,利用网络进行信息管理改革已经成为了人们追捧的一种趋势。"食物营养成分数据分析平台"是运用Java语言、爬虫技术、数据可视化技术和SSM框架,以MySQL数据库为基础而发出来的。为保证我国经济的持续性发展,必须要让互联网信息时代在我国日益壮大,蓬勃发展。伴随着信息社会的飞速发展,食物营养成分数据分析平台所面临的问题也一个接一个的出现,所以现在最该解决的问题就是信息的实时查询和访问需求的问题,以及如何利用快捷便利的方式让访问者在广大信息系统中进行查询、分享、储存和管理。这对我们的现实生活中具有非常重要的意义,所以食物营养成分数据分析平台诞生了。
1.3 课题的研究意义 大数据时代已经到来,大数据技术已成为这个时代不可或缺的一项技术,企业需要数据来分析用户行为、产品的不足之处以及竞争对手的信息等,而这一切的首要条件就是数据的采集。在互联网社会中,数据是无价之宝,一切皆为数据,谁拥有了大量有用的数据,谁就拥有了决策的主动权。本次使用Java技术、爬虫技术加网络可视化大屏技术,可以实现管理员对食物营养成分的快速管理,对社会的发展来说,是一个非常有意义的创新。
相关技术
本食物营养成分数据分析平台的数据库采用的是MySQL数据库,并且选择了Java语言、爬虫技术、数据可视化技术和SSM框架进行开发项目,在项目开发过程中,实现了系统功能模块的安全性、实用性、稳定性、易维护和页面简单等特点。 2.1 Java简介 Java是由sun公司开发出来的,后来被oracle收购,前身为oak语言。后来进入90年代初始期时,互联网兴起,重新将oak语言升级改造(借鉴C++语言),最后形成了Java语言。Java在语言操作时,大部分就只有一种操作方式,并且支持跨平台,即使是在一个操作系统平台下开发,也可以运行在所有操作系统平台中,其编程的本质也是由数据结构和算法构成。
2.2 SSM框架 SSM是由Pivotal的开发团队在2013年开发的一个免费、轻量级、开源的系统框架。SSM的主要设计思想是约定大于配置,因此SSM在设计时几乎达到零配置。SSM集成了业界的开源框架。 SSM是一个非常强大的后台框架,因为SSM的开发基本上不需要写配置文件,所以利用SSM来构建网站的后台环境,在SSM的YML配置文件中写项目启动端口,项目就可以启动了。项目的Java和静态文件由SSM管理。 2.3 可视化技术简介 可视化是一个认知的过程,目的在于对事物的洞悉观察,而不是绘制的可视化结果本身。数据显示是数据分析后发送结果和请求的过程,是一个报警过程。大数据分析结果之间的相关性更为复杂。传统的展示方式已经不能满足当今社会的需要。大数据的出现带来了更直观、更清晰的表现形式。可视化技术的参考是其中的一个重要部分。他的作用也体现在很多方面,揭示很多想法和对应关系,形成论点或者意见,观察事物的演变趋势,探索性的分析数据。
以对于中央电化教育馆教育信息技术研究2018年度立项课题清单的分析为例,进行需求分析以及可视化表达。首先要对清单内数据进行一系列处理,我们可以大概从课题内容分析、按学段进行分析、或者对同一地区课题方向进行分析。那么我将针对课题内容进行分析,目的为得到当前年度热门课题的关键词都有哪些,明确当下教育热点,以便为下一步教育的发展做铺垫。既然要从课题内容进行分析,那么第一步就是对整个清单内的数据进行处理,对课题进行一个分词处理,也就是对关键词进行提炼,有效关键词的获取是分析的最重要的基础,在这一部分,由于是教育方面的课题研究,因此我将引用专业领域词库,并设定一些停用词,在使关键词的划分更加准确的同时,能够减少关键词的数量,让提取出来的关键词在质量上得到保证。其次就是对关键词进行统计,最终以可视化图表的形式呈现出想要的结果。 从宏观的角度来讲,可视化的三大功能之一就是信息记录,将浩瀚烟云的信息记录成文,最有效的方法之一就是信息成像,因此,为了达到最终的分析目的,使杂乱无章的占比数据以一种更加直观、简明清晰的视图效果展现出来,对数据进行系统的分析之后,将最终结果进行可视化处理,便能够显而易见的看出当前的热点话题。
2.4 爬虫技术简介 网络爬虫是自动采集数据的有效手段。网络爬虫是一种按照一定的规则,自动抓取互联网海量信息的程序或脚本。网络爬虫的应用领域很广泛,如搜索引擎、数据采集、广告过滤、大数据分析等。 网络爬虫是一种很好的自动采集数据的通用手段。它主要分为4种类型,分别是:聚焦网络爬虫、增量抓取、表层网页、深层网页。 ①聚焦网络爬虫是"面向特定主题需求"的一种爬虫程序,而通用网络爬虫则是捜索引擎抓取系统(Baidu、Google、Yahoo等)的重要组成部分,主要目的是将互联网上的网页下载到本地,形成一个互联网内容的镜像备份。 ②增量抓取意即针对某个站点的数据进行抓取,当网站的新增数据或者该站点的数据发生变化后,自动地抓取它新增的或者变化后的数据。 Web页面按存在方式可以分为表层网页(surface Web)和深层网页(deep Web,也称invisible Web pages或hidden Web)。 ③表层网页是指传统搜索引擎可以索引的页面,即以超链接可以到达的静态网页为主来构成的Web页面。 ④深层网页是那些大部分内容不能通过静态链接获取的、隐藏在搜索表单后的,只有用户提交一些关键词才能获得的Web页面。
2.5 MySQL数据库 MySQL是一种用于数据存储的关系数据库管理系统,MySQL是最好的 RDBMS (Relational Database Management System,关系数据库管理系统) 应用软件之一。由于计算机是一个巨大的数据处理工具,所以数据库管理系统在计算机中占有重要地位。数据的管理不仅仅只是数据的存储,而是已经转变成用户需要的许多的数据的管理。其也有很多不同的类型,能够做到有简单的数据管理到大量的数据的管理能力。 这种数据库是比较灵活的方式,优势就在于更加的切合开发者的思考逻辑,所以理解起来也会比较的方便,还能够和其他的语言一起使用,在连接起来就是比较的易懂,同时对于一些基本的查询以及添加的操作也是必须能够掌握的功能。 2.6 本章小结 本章节对项目食物营养成分数据分析平台进行了相关技术的分析与介绍,在结合技术的优点和适应性来选择数据库、服务器和开发环境,基于现有的情况,针对系统的各个模块确定系统的最优设计方案。
系统整体功能图

系统前台界面图

美食信息详情界面图

交流论坛界面图

在线留言界面图

后台登录界面图

管理员功能界面图

看板界面图

部分数据库表
|----------|-----------|------------|----------|----|-------------------|
| 字段名称 | 类型 | 长度 | 字段说明 | 主键 | 默认值 |
| id | bigint | | 主键 | 主键 | |
| addtime | timestamp | | 创建时间 | | CURRENT_TIMESTAMP |
| laiyuan | varchar | 200 | 来源 | | |
| biaoti | varchar | 200 | 标题 | | |
| zuozhe | varchar | 200 | 作者 | | |
| zhpf | varchar | 200 | 综合评分 | | |
| renshu | varchar | 200 | 做过这道菜的人数 | | |
| detail | longtext | 4294967295 | 用料 | | |
| fengmian | longtext | 4294967295 | 封面 | | |
|-----------|-----------|-----|----------------------------------|----|-------------------|
| 字段名称 | 类型 | 长度 | 字段说明 | 主键 | 默认值 |
| id | bigint | | 主键 | 主键 | |
| addtime | timestamp | | 创建时间 | | CURRENT_TIMESTAMP |
| userid | bigint | | 用户id | | |
| refid | bigint | | 商品id | | |
| tablename | varchar | 200 | 表名 | | |
| name | varchar | 200 | 名称 | | |
| picture | varchar | 200 | 图片 | | |
| type | varchar | 200 | 类型(1:收藏,21:赞,22:踩,31:竞拍参与,41:关注) | | 1 |
| inteltype | varchar | 200 | 推荐类型 | | |
| remark | varchar | 200 | 备注 | | |
结论
本系统是采用Java语言、爬虫技术、数据可视化技术以及SSM框架构建的一个操作管理系统,选择的数据库是MySQL。整个过程先是通过整体的系统分析,来确定本系统的可行性是否达标。为了满足用户的需求以及提高管理员的工作效率,通过系统所要实现的功能分析,决定了用户和管理员要实现的功能。之后就是精细各个模块的具体功能,定义用户和管理员们的权限,分割成管理员功能模块和用户功能模块。之后通过系统测试来确保数据的准确性和操作的准确性,发现错误并立即做出了改正。 系统本身就是共享信息的存在,用户和管理员都可以发布信息来分享资源,通过加入关键词检索,让用户和管理员更方便的使用系统。同时通过分类以便用户查找信息可以进一步的对号入座,极大的节省了查找信息的时间。通过加入信息的评论功能,加深了用户与用户之间的交流,使其构造出更良好的网络环境。