摘 要
现如今互联网已在世界范围内广泛的应用和发展，特别是移动互联网Web 技术快速发展，然而最近几年经常发生互联网用户信息泄露及财产损失问题，网络安全漏洞严重威胁Web应用程序安全及互联网用户的网络使用安全，因此现急需一种Web应用漏洞检测系统来保障Web应用的安全。本文设计并实现了基于爬虫的漏洞检测系统，该系统使用WAMP集成环境，MySQL数据库，利用PHP结合HTML语言的混合框架结构开发完成，为系统使用者提供一个界面友好对web应用漏洞的检测环境。设计开始首先调研了当前Web服务器所面临的常见漏洞威胁并进行分析，再到系统开发环境、总体框架设计、业务流程、功能设计等几个方面进行系统的总体设计，然后针对安全威胁开发隐私安全防护系统，此系统的模块分为漏洞检测模块、漏洞防御模块、生成报告模块、菜单栏功能，登录注册功能等，通过此系统，可以检测出黑客对网站进行的常见攻击，使个人用户能够对漏洞进行了解和有效地防御，从而提高数据隐私安全性。
关键词：web安全；漏洞检测；数据隐私；SQL注入
ABSTRACT
Nowadays, the internet has been widely applied and developed worldwide, especially with the rapid development of mobile internet web technology. However, in recent years, there have been frequent issues of internet user information leakage and property damage. Network security vulnerabilities seriously threaten the security of web applications and internet users' network usage. Therefore, there is an urgent need for a web application vulnerability detection system to ensure the security of web applications. This article designs and implements a vulnerability detection system based on a crawler. The system is developed using a WAMP integrated environment, MySQL database, and a hybrid framework structure of PHP and HTML language, providing a user-friendly web application vulnerability detection environment for system users. At the beginning of the design, we first investigated and analyzed the common vulnerabilities and threats faced by current web servers. Then, we carried out the overall design of the system from several aspects such as system development environment, overall framework design, business process, functional design, etc. Then, we developed a privacy and security protection system for security threats. The system's modules are divided into vulnerability detection module, vulnerability defense module, report generation module, menu bar function, login and registration function, etc, Through this system, common attacks by hackers on websites can be detected, enabling individual users to understand and effectively defend against vulnerabilities, thereby improving data privacy security.
Keywords: web security; Vulnerability detection; Data privacy; SQL injection
目 录
第1章 绪论
1.1 研究背景
1.2 国内外研究现状
1.3 课题研究内容和目的
第2章 系统分析
2.1 软件环境分析
2.2 系统功能分析
2.3 系统业务流程分析
第3章 系统设计
3.1 系统总体框架设计
3.2 漏洞检测模块设计
3.3 数据库设计
3.4 漏洞防御模块设计
3.5 生成报告模块设计
第4章 系统实现
4.1 登录注册功能实现
4.2 菜单栏功能实现
4.3 漏洞检测模块实现
4.4 漏洞防御模块实现
4.5 生成报告模块实现
第5章 系统测试
5.1 sql 注入漏洞检测
5.2 逻辑越权漏洞扫描
结论
参考文献
致谢
第1章 绪论
1.1 研究背景
当今移动互联网在全球范围内广泛应用，在我们的生活中或多或少地会使用web应用及工具，这些应用和工具给我们的生活带来了极大的便利。然而，在网站浏览信息也常常会存在许多安全问题及安全威胁，这给用户安全带来一定风险，并且给一些互联网应用开发企业带来了巨大的安全隐患及财产损失。本课题通过研究基于网络爬虫的Web应用程序漏洞及其检测方法，开始设计并实现web应用漏洞检测系统，使其能高效检测常见的web漏洞，并且能给出详细的检测报告，其预期效果能便于开发人员及检测运维人员能尽早修复漏洞，避免造成重要损失。
1.2 国内外研究现状
漏洞扫描器的研究与开发起源于国外，一些国外学者提出静态源代码分析方法，但是这种方法需要有web应用的源代码，这限制了扫描工具的使用，当前市面上使用主流的漏洞扫描工具，这些工具使用的技术如网络爬虫技术，但是没有良好的可扩展性，一些开源的扫描工具像appscan，awvs等，这些开源工具一方面需要收费，并且这些漏扫工具面向的都是一些企业公司且扫描结果不理想，受众人群小，所以需要一款受众人群更广的免费工具。
1.3 课题研究内容和目的
该系统利用一些前端技术及代码编程还有一些漏洞算法完成一个系统美观的漏洞扫描系统，主要用到的技术有html，MySQL数据库，python，及CMS框架。最后还有漏洞报告生成模块，并对报告下载功能进行设计搭建，提供报告下载功能。由于国内还缺少国产漏洞扫描系统。所以我们还需要学习并利用一些国外的技术，原创打造属于国人自己的漏洞扫描工具。
第2章 系统分析
2.1 软件环境分析
此安全防护系统使用Wamp集成环境，安装PHPstudy环境即可,该环境可以从官网上下载，系统使用php和html语言混合开发，在此环境基础上开发漏洞防护系统。
2.2 系统功能分析
该系统划分成了五个页面模块，分别主页面模块、菜单栏页面、漏洞检测模块、测试报告页面、登录页面。前端页面使用iframe框架完成，标签对框架进行了划分。其中菜单栏模块为系统所有功能模块的链接，用于用户漏洞检测选项的选择及操作页面。
主页面模块为整个系统的主控模块用于用户交互及交互完成之后的信息展示，在此系统可以进行常见漏洞检测如sql注入、命令执行、xss、CSRF、文件上传等漏洞，通过检测可以很快找出网站具有哪些漏洞，并根据所找出的漏洞生成检测报告，并在报告中介绍漏洞的防御手段。
2.3 系统业务流程分析
首先打开Chrome浏览器输入系统URL，登录系统，进入主页面，建立新的扫描项目，开始扫描，等待扫描结果完成，可以查看扫描结果，另外可以导出报告，最后退出。
图2.1系统业务流程图
第3章 系统设计
3.1 系统总体框架设计
系统功能模块如图3.1所示。
图 3.1 系统功能模块图
系统总体页面框架结构采用了IFRAME框架进行设计，设计框架如图3.2所示。
图 3.2总体页面框架
index.php 为主框架文件，负责控制整个平台的框架布局，通过此文件的<frameset>标签，系统整个页面分成了5个部分，所有文件都存放在根目录下，如图 3.3所示。
图3.3 前端页面文件
3.2 漏洞检测模块设计
漏洞检测模块分为最开始的建立扫描项目，之后根据个人需求选择扫描选项，如：扫描的速度快慢，何种扫描方式，扫描的各种配置等。另外在扫描过程中内部的算法，分为SQL注入漏洞，xss，CSRF，ssrf，无效的访问控制漏洞等一些常见的漏洞扫描。
3.3 数据库设计
系统在开发设计过程中创建了security数据库，其中admin表为登陆注册用表。数据库各表如图 3.4 所示。
图3.4 数据库配置设计
admin表为用户表，可用于用户登陆系统。表结构如下表3.1所示。
表3.1 admin表
字段名称类型约束条件字段说明
idINT主键，非空，自增用户id
usernamevarchar(20)非空用户名
passwordvarchar(20)非空用户密码
member表为SQL注入漏洞检测使用表，用于sql模块的字符型get型注入、数字型注入，post注入、布尔盲注、报错注入，时间盲注等，表结构如下表3.2所示。
表3.2 member表
字段名称类型约束条件字段说明
idINT主键，非空，自增用户序号
useridINT非空用户id
ipaddressvarchar(50)非空用户地址
useragentvarchar(255)非空用户浏览器信息
httpacceptvarchar(255)非空用户http头信息
remoteportvarchar(255)非空用户提交信息
user表为xss漏洞使用表，用于反射性注入的环境，表结构如下表3.3所示。
表3.3 user表
字段名称类型约束条件字段说明
idINT主键，非空，自增用户id
timetimestamp非空用户时间
ipaddressvarchar(50)非空用户地址
字段名称类型约束条件字段说明
cookievarchar(1000)非空用户cookie
referervarchar(1000)非空用户返回信息
useragentvarchar(1000)用户浏览器信息
httpinfo表为跨站请求伪造漏洞使用表，表结构如下表3.4所示。
表3.4 httpinfo表
字段名称类型约束条件字段说明
idINT主键，非空，自增用户id
usernamevarchar(20)非空用户名
pwvarchar(20)非空用户密码
sexvarchar(2)非空用户性别
phonenumvarchar(20)非空用户电话
addressvarchar(50)非空用户地址
emailvarchar(20)非空用户邮箱
double_sql表为逻辑越权漏洞使用表，表结构如下表3.5所示。
表3.5 double_sql表
字段名称类型约束条件字段说明
idINT主键，非空，自增用户id
usernamevarchar(20)非空用户名
passwordvarchar(20)非空用户密码
levelINT非空用户等级
fish表为文件上传漏洞检测使用表，fish表结构如下表3.6所示。
表3.6 fish表
字段名称类型约束条件字段说明
idINT主键，非空，自增用户id
timetimestamp非空用户时间
usernamevarchar(20)非空用户名
passwordvarchar(20)非空用户密码
referervarchar(1000)非空用户返回信息
3.4漏洞防御模块设计
该系统提供的漏洞防御模块管理，能够使用户优先安排和管理漏洞。在检测出的漏洞的基础上展示他们的类型和严重程度。用户更容易识别的最严重漏洞，以及需要立即引起的注意。用户可以选择一个漏洞，查看其详情。这可以得到更多的信息漏洞和如何可以防御这些漏洞。
该模块还可以标记的漏洞作为固定的或误报。可以生成的报告和重新测试，如果需要的话。此外，还可以导出问题跟踪。
3.5 生成报告模块设计
设计该模块产生的的报告类型，受影响的项目的报告显示的文件和地点。报告显示的严重程度的脆弱性检测到与其他详细信息关于漏洞如何被检测到。
综合报告：
报告中提供全面信息的开发报告，并生成一个更简洁的格式，添加一个图形部分的统计数据。 每个漏洞，每个HTTP提出请求的目标是伴随着HTTP响应接收。HTML格式允许创造，可让用户拓展，使用户更加友好。与此相反，PDF格式是一个静态的格式。
