710SJBH基于Apriori算法的学籍课程成绩关联规则挖掘研究

摘要

基于 Apriori 算法的学籍课程成绩关联规则挖掘研究

高等院校的中心工作是教学，重点是提高教育质量，而学生成绩恰恰是衡量教学质量的重要依据，所以数据挖掘在分析学生成绩中有着重要意义。通过对学生成绩信息进行数据挖掘，可以发现各门课程之间的关联关系，为教学和学生管理提供决策支持，更好的开展教学工作，提高教学质量。

本文首先在数据仓库和数据挖掘理论研究的基础上，介绍数据仓库和数据挖掘的基本理论，重点阐述了数据仓库的构建和联机分析处理。

其次，介绍了数据挖掘中关联规则的基本算法，重点分析了Apriori算法，通过对Apriori算法的深入研究，针对Apriori算法存在的缺点，提出了一种减少事务数据库扫描次数的改进算法，并通过实例说明该算法的优点。

最后通过基于学生成绩的数据仓库，从概念模型、逻辑模型和物理模型三个方面完成数据仓库的设计，通过对数据的抽取、清洗、转化和加载完成数据仓库的构造。

**关键词：**数据挖掘关联规则数据仓库

Abstract

The Research and Implementation of the Cross-platform Price Management Information System

Since mid-1990s, large-scale digitization of information technology systems building services all walks of life along with then developed of information , network and computer technology, so different software applications can share information to improve efficiency and reduce costs. Along with the rapid progress of the computer information industry in China, the development and application of the computer has been throughout all aspects of life, more and more popular, price comprehensive business information processing network, electronic development is imperative, but the current price management infrastructure construction , price information sharing, business linkage is quite weak, the price level still remain in manual management level based on the paper document file is lagging behind the media, this mechanism can not adapt to the rapid development of the information age, It will not only waste a lot of manpower and resources, but also waste a lot of material resources. In the information age, this traditional management must be replaced by the digital management information system.

This system, office automation OA system based Domino platform development, B / S architecture; portal based on the development of JSP, B / S architecture; the price management information system using ASP.NET development, B / S architecture; price monitoring cost supervision and examination The system is based on NET 2.0 development, smart client C / S structure, the various components of the data interface call, using XML format as a standard for data exchange between systems. Office automation system using Domino document database, in addition to the above system, relational database. The system includes a leadership decision-making system, price verification management system, fees management system, electronic monitoring systems, real estate management system, the system of normative documents, portal system and other systems. Office automation system for workflow bus system the unified portal integration price information of the application, leading the decision aids indicators show, strengthening collaborative work and data sharing between various departments, to provide online services for the public , so as to raise the overall the Price Bureau Administrative work the level of information.

This paper first introduces a systematic overview of the existing system of price management system status and price management system; expounded the necessity and significance of the price management system; using object-oriented software engineering principles and methods of system the requirements analysis and system design. Needs analysis, system business process diagrams, and in-depth analysis of the business processes of the system, and to prepare for the detailed design of the system. Modular design in system design, system design five functional modules including toll management system, electronic surveillance system, administrative powers to run the system, price verification and management system, as well as regulatory file system, database concepts and logic prototype. In order to achieve low coupling, high cohesion within the system modules and module system module division of powers and responsibilities are clear, and ultimately achieve system goals.

The system has good scalability and can be developed easily, in order to gradually improve as the business needs to expand, and the development of information technology, and continue to promote in-depth development of information construction in the price department.

Keywords: price management, management information systems, Domino platform, JSP, ASP.NET, the NET Framework2.0, oracle database

++[摘要... I](#摘要... I)++

++[Abstract II](#Abstract II)++

++[目录... I](#目录... I)++

++[第1章　绪论... 1](#第1章　绪论... 1)++

++[1.1 选题背景意义... 1](#1.1 选题背景意义... 1)++

++[1.2 论文的结构安排... 1](#1.2 论文的结构安排... 1)++

++[第2章　数据挖掘概述... 1](#第2章　数据挖掘概述... 1)++

++[2.1 数据挖掘的发展史... 1](#2.1 数据挖掘的发展史... 1)++

++[2.2 数据挖掘的概念... 1](#2.2 数据挖掘的概念... 1)++

++[2.3 数据挖掘的技术方法... 2](#2.3 数据挖掘的技术方法... 2)++

++[2.4 数据仓库概述... 2](#2.4 数据仓库概述... 2)++

++[第3章　关联规则数挖掘算法分析... 3](#第3章　关联规则数挖掘算法分析... 3)++

++[3.1关联规则挖掘综述... 3](#3.1关联规则挖掘综述... 3)++

++[3.2 关联规则挖掘算法--Apriori算法... 3](#3.2 关联规则挖掘算法--Apriori算法... 3)++

++[3.2.1Apriori算法原理... 3](#3.2.1Apriori算法原理... 3)++

++[3.2.2Apriori缺陷分析... 4](#3.2.2Apriori缺陷分析... 4)++

++[3.2.3Apriori算法改进... 5](#3.2.3Apriori算法改进... 5)++

++[第4章学籍课程成绩挖掘系统的设计与实现... 6](#第4章学籍课程成绩挖掘系统的设计与实现... 6)++

++[4.1 课程成绩数据仓库的搭建... 6](#4.1 课程成绩数据仓库的搭建... 6)++

++[4.2 学籍课程成绩挖掘的实现... 6](#4.2 学籍课程成绩挖掘的实现... 6)++

++[4.2.1 系统需求分析... 6](#4.2.1 系统需求分析... 6)++

++[4.2.2 系统总体设计... 7](#4.2.2 系统总体设计... 7)++

++[4.2.3 数据预处理... 7](#4.2.3 数据预处理... 7)++

++[第5章　结论与展望... 9](#第5章　结论与展望... 9)++

++[参考文献... 10](#参考文献... 10)++

++[致谢... 11](#致谢... 11)++

第1章　绪论

1.1 选题背景意义

近年来随着高校不断扩张，学校人数大幅度增加，给高校学生管理和教学工作带来了严峻的考验，传统的教学管理手段已经逐渐不能适应社会的发展了。目前，高校对学生信息和成绩等数据的处理一般还停留在数据统计分析、查询，备份阶段。远远不能发现隐藏在数据背后的信息，更不能提供决策参考和依据[1]。

教学工作是高校的核心工作。而成绩不仅可以评估教学质量，同时能够评价学生的学习效果。通过对学生成绩运用数据挖掘技术，发掘学生成绩背后的隐含的有价值的信息，为引导各校领导重视教学工作，注意改善教学条件，加强教学管理，深化教学改革，努力提高教学质量提供了重要的依据[2]。

1.2 论文的结构安排

整篇论文是关联规则和数据挖掘为技术背景，在不同的子系统中从相应的知识、体系结构等方面出发，分析介绍了基于Apriori算法的学籍课程成绩关联规则挖掘的设计与实现。具体章节安排如下:

本文首先阐明了基于Apriori算法的学籍课程成绩关联规则挖掘研究的提出、意义和系统研究的内容。

课题论文第二章简要说明了本系统详细研究过程中所涉及的相关技术。

课题第三章对关联规则和Apriori算法概述和分析。

第四章从系统需求分析，详细设计，系统实现三方面详细分析了系统的业务逻辑。

第五章是结束语。总结系统的课题研究总结，并为本课题的下一步研究提出方向。

第2章　数据挖掘概述

2.1 数据挖掘的发展史

数据挖掘是一个逐渐演变的过程，电子数据处理的初期，人们就试图通过某些方法来实现自动决策支持，当时机器学习成为人们关心的焦点。机器学习的过程就是将一些已知的并已被成功解决的问题作为范例输入计算机，机器通过学习这些范例总结并生成相应的规则，这些规则具有通用性，使用它们可以解决某一类的问题。随后，随着神经网络技术的形成和发展，人们的注意力转向知识工程，知识工程不同于机器学习那样给计算机输入范例，让它生成出规则，而是直接给计算机输入己被代码化的规则，计算机是通过使用这些规则来解决某些问题。专家系统就是这种方法所得到的成果，但它有投资大、效果不甚理想等不足[3]。80年代人们又在新的神经网络理论的指导下，重新回到机器学习的方法上，并将其成果应用于处理大型商业数据库。80年代末，一个新的术语一数据库中的知识发现(KDD)--出现，人们接受了这个术语，并用KDD来描述整个数据挖掘的过程，包括最开始的制定业务目标到最终的结果分析，而数据挖掘(DM)则是描述使用挖掘算法进行数据挖掘的子过程[4]。

2.2 数据挖掘的概念

所谓数据挖掘，简单地概括就是从历史数据集中发现隐含模式，并且应用这些模式进行预测。具体地说，数据挖掘的定义是从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的、但又潜在有用的信息和知识的过程。该定义概括了数据挖掘的数据源的五个特点和挖掘得到的信息的三个特点[5]。

数据挖掘与传统数据分析(如查询、报表、联机应用分析)的本质区别是数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识[6]。数据挖掘所得到的信息是未知、有效和可用的。未知是指该信息是预先未曾预料到的，即数据挖掘是要发现那些不能靠直觉发现的信息或知识，甚至是违背直觉的信息或知识，挖掘出的信息越是出乎意料就可能越有价值。有效性要求挖掘前要对数据源进行仔细检查，只有保证数据源的有效性，才能保证挖掘出来的信息的有效性,可用性，即这些信息或知识对于所讨论的业务或研究领域是有效的、是有实用价值和可实现的[7]。

2.3 数据挖掘的技术方法

数据挖掘的方法很多，每种方法都有其特定适用的领域。一种挖掘方法不可能胜任所有的数据挖掘任务，一个复杂的数据挖掘系统往往需将多种数据挖掘方法相结合起来，通过整合多种数据挖掘方法，从各个角度分析数据，弥补单个数据挖掘方法所存在的不足[8]。数据挖掘的方法主要包括决策树、人工神经网络、关联规则、链接分析、遗传算法五中技术。

决策树对于分类和预测是强有力的常用工具，神经网络是一种可以容易地应用于预测、分类和聚类的强有力的多用途工具，。关联规则可以有效地捕捉数据间的重要关系，链接分析常常会产生很富洞察力且可操作的结果，而像神经网络一样，遗传算法也是以模仿生物过程为基础。

2.4 数据仓库概述

数据仓库技术是随着人们对大型数据库系统研究的不断深入，在传统数据库技术基础之上发展而来的，其主要目的就是为决策提供支持，为联机分析处理(OLAP)、数据挖掘等深层次的数据分析提供平台[9]。

数据仓库的目标是达到对决策有效的支持。数据仓库的作用在于：从这些应用系统中获取信息，并转换到一个新的数据库，通过对新库中的历史信息和面向主题的信息进行分析，为决策提供支持[10]。

数据挖掘则是要发现隐藏在大量数据当中的隐含的模式和有用的知识。它不仅可以执行数据的统计汇总和聚集分析，而且能够执行关联、分类、聚类、预测、时间序列分析和其它数据分析等复杂工作，从而发现更多、更深层次和更有用的模式和知识去指导战略决策。因此数据挖掘的功能涵盖了OLAP的功能，是比OLAP更高级的决策分析技术[11]。

第3章　关联规则数挖掘算法分析

3.1关联规则挖掘综述

关联规则挖掘是在数据挖掘领域中较早提出的一个研究方向，目前该领域的新算法、新应用层出不穷，相关问题定义和背景也不尽相刚。关联规则主要用来分析数据库中不同属性间有价值的相互依存关系，目前的研究主要集中在基本关联规则挖掘、复杂类型关联规则挖掘、针对关联规则评价的研究、并行挖掘算法和增量挖掘算法等几个方面[12]。

基本关联规则挖掘算法是Apriori算法，它采用分层搜索，依赖频繁数据项集的产生，复杂类型关联规则是基于基本关联规则的变体，关联规则挖掘主要研究如何构造关联规则，并行挖掘算法利用多处理器对分布数据进行并行挖掘，最后，增量挖掘算法可以有效减少了事务增量环境下候选数据项的规模[13]。

3.2 关联规则挖掘算法--Apriori算法

3.2.1Apriori算法原理

Apriori算法的频繁项集查找是一个逐层迭代的方法。每层查找分成项集itemset的连接和剪枝两个步骤。连接步骤是在为找k-项频繁项集Lk，通过k-1项频繁项集Lk - 1与自己连接产生候选k-项集的集合Ck。剪枝步骤是扫描事务数据集，去掉那些支持度小于指定最小支持度的事务项[14]。

算法开始从最简单的1-项开始进行筛选，找出L1后，L1与L1自身连接产生C2，然后对C2的所有事务项进行筛选后，产生L2，由此，不断迭代下去，直到最后Lk为空集。

下面是引用参考文献13中的Apriori算法伪代码参考。

算法Apriori 使用逐层迭代找出频繁项集

输入：事务数据库D；最小支持度阈值。

输出：D中的频繁项集L。

方法：

L1 = find_frequent_1_itemsets(D);
for (k = 2; Lk-1 ; k++) {
Ck = aproiri_gen(Lk-1,min_sup);
for each transaction tD{ //scan D for count
Ct = subset(Ck,t); //get subsets of t that are candidates
for each candidate cCt
c.count++;
}
Lk={cCk | c.count min_sup}
}
return L = kLk；

procedure apriori_gen(Lk-1: frequent (k-1)-itemset; min_sup: support)

for each itemset l1Lk-1
for each itemset l2Lk-1
if (l1[1]=l2[1])...(l1[k-2]=l2[k-2])(l1[k-1]<l2[k-2]) then {
c = l1l2; //join step: generate candidates
if has_infrequent_subset(c,Lk-1) then
delete c; // prune step: remove unfrequent cadidate
else add c to Ck;
}
return Ck;

3.2.2Apriori缺陷分析

数据挖掘作为OLAP的数据分析处理，数据I/O效率往往都是其算法实现的瓶颈。Apriori算法在寻找频繁项集的时候，需要多次重复扫描数据库，所以其效率并不理想。同时，Apriori逐步迭代产生候选项集规模也可能十分巨大，呈现组合式的增长速度。比如，当长度为1的频繁项集有10000个的时候，长度为2的候选项集个数将会超过10M。

Apriori算法的核心思想是，通过项集元素数目的不断增长来逐层搜索发现频繁项集。该算法易于实现。但在实际中存在有一些难以克服的缺陷：

(1)对数据库的扫描次数过于频繁。在Apriori算法中，每生成一个候选项集C，需要进行一次数据库的全面搜索。当数据库中存放的事务数据非常多时，就会导致扫描数据库的次数会急剧增加，且每次扫描时间会很长，导致整个过程耗时很长，效率非常低[15]。

(2)Apriori算法会产生大量的候选项集。造成这种情况的主要原因是，在生成候选项目集C时没有及时排除不应该参与运算的元素，导致循环产生的组合过多，造成时间的浪费[16]。

3.2.3Apriori算法改进

鉴于传统的Apriori算法存在以上两个主要的缺陷，在实际中的应用往往不能令人满意，所以要提高Apriori算法的效率，可以就需要从以下两个方面问题想办法：一是减少对数据库的扫描次数；二是生成较小的候选频繁项集。

为了提高Apriori算法的性能，已经有很多方法对Apriori算法进一步改进和扩展，可以通过以下几个方面对Apriori算法进行改进：

(1)通过减少扫描数据库的次数，改进I／O的性能；

(2)改进产生大项目集的计算性能；

(3)寻找有效的并行关联规则算法；

(4)引入抽样技术，改进生成频繁项集的I／O和计算性能；

(5)扩展应用领域。如：定量关联规则、泛化关联规则及周期性关联规则的研究。

第4章学籍课程成绩挖掘系统的设计与实现

4.1 课程成绩数据仓库的搭建

在基于Apriori算法的学籍课程成绩关联规则挖掘研究中，在数据仓库的设计过程中数据模式的设计非常重要，我们采用通用的三层数据建模方式，即概念模型设计、逻辑模型设计和物理模型设计[17]。

本文基于学生成绩分析的数据仓库就是利用SSAS工具完成对学生成绩分析数据仓库的设计和分析的。在SQL Server 2005关系数据库中创建数据仓库Student，在此数据库中每个事实表对应一个关系表，每个维表对应一个关系表。分别设计其数据项、类型、宽度、主键及表之间的联系。这样就建立了一个学生成绩分析数据仓库，但其中只是产生了数据仓库的物理结构并没有数据，下一步将把学校教务管理系统中学生成绩数据和学生管理数据经过抽取、转换和加载放入到数据仓库中。

4.2 学籍课程成绩挖掘的实现

4.2.1 系统需求分析

总的来说，我们不可以简单的认为只是不经过设计和性能分析就可以把整个设计做到尽善尽美，而应该从整体的角度进一步考虑，把整个需求分析归入软件生命周期的整体规划。一般情况下，性能分析总是包含在需求分析中，此时，应该从功能和非功能性两个方面进行分析，在非功能性分析中还应该做到性能，界面等方面的分析，通过有效的性能和界面分析，最后达到系统具有比较高的可用性和易用性的设计目标。

对于设计人员者而言，实现最高的系统性能是永远不懈的追求。然而究竟软件的性能能够达到多少，每每遭遇性能瓶颈时，客户总是带着焦急的心情询问到底能够有多大的性能支持，致使整个软件生命周期的维护阶段变得非常复杂。

系统需求分析阶段包括对系统研究的目标对象和系统功能模块进行分析，本系统主要研究的目标是学生的课程成绩，系统的功能就是信息系统所具有的效能和作用。学生成绩数据挖掘系统功能就是要满足学校各部门对不同学生、不同时间、不同课程的数据分析[18]。不同的阶层对课程成绩的关心范围和精细程度是不一样的。

图系统的功能分析

4.2.2 系统总体设计

软件结构是由其软件的各子系统按照确定的关系构成的结构框架，它呈现多层次结构模式，子系统是对软件进行分解的一种中间形式，也是组织和描述软件的一种方法。每一个子系统中包括多个用例设计、类和接口。学生成绩数据挖掘系统的系统功能只有一个，那就是分析数据仓库内存储的学生成绩数据，因此它只包含一个子系统[19]。

4.2.3 数据预处理

学习成绩和高考成绩来自于学校的教务系统，存储形式多样。具有以下特点：

1．成绩存在缺失值。原因可能是留级、退学或缺考。

2．成绩重复，同一个学生的同一门课程存在多个成绩。这是第一次考试不及格后参加补考，还可能毕业前重考形成的。

3．成绩来源单一，主要考虑将数据格式转化为适合数据挖掘系统需要。

针对学习成绩的特点进行数据预处理：

1．处理成绩缺失值和重复，本论文中，对于没有参加考试的学生成绩直接删除掉。对于其他个别空缺，可采用人工填充的方法，填充原则是以该记录的其他属性值作为筛选条件，在数据库中进行筛选，选择多数属性值填充该空缺。对于一门课程有两个或三个成绩的学生，将成绩取平均值填充[1]。

2．将成绩离散化一，一般成绩离散化的方法是固定区间法，而且本文后面的挖掘过程和结果展示中的成绩预处理也是采用的这种方式。

第5章　结论与展望

这个系统的设计过程是一个将理论知识应用到具体的项目中的完美体验，系统的开发将我从书本上学到的知识与具体实践紧密的结合了起来，加深了我对数据挖掘系统的认识，巩固了课堂上学习到的知识，提高了实践水平，为以后在实际工作中的管理信息系统开发奠定了坚实的基础。这次的开发是我几年来第一次将软件工程的知识系统的串联在了一起，详细了解了软件开发的整个过程：从刚开始问题定义到需求分析，从需求分析到总体设计，再到详细设计，再到编码，测试。它让我理解到了项目开发的工程性。经过几个月的努力，价格管理信息系统总体框架已经完成，并完成了该系统的几个模块。已完成的功能部分经过测试，基本能满足用户需求。但是由于毕业设计的时间较短，系统还有许多不够理想的地方，比如文档做的不够完整，需求分析做的还是不够到位，出错处理也不够完整等等，这些都有待进一步学习提高。

这次的毕业设计过程中也遇到了不少的问题，大部分在老师的悉心指导、同学的帮助下得到了很好的解决，但也有少部分遗留的问题。首先是调研不够充分，以前在学习过程中还没有完整的接触过软件的整体开发设计，所以在前期的调研中还相当的不充分，开题也较为盲目，以为把属性和数据表写的越多越好。这个问题到后面越来越凸显出来，因而做了几次修改，耽误了整体的进度。其次是数据挖掘平台的应用，之前对数据挖掘平台的了解较少，这次论文使用这个平台主要是抱着一个学习加应用的目的，所以在毕业设计期间也进行了苦读，查阅了很多资料，终于对平台有了较多的了解。再次是数据库的建设和使用，这次使用sql server数据库，虽然之前就有所了解但是接触还是不够多，难度也比access大不少，所以经过了一番努力以后，才终于能较为顺利的应用到我的毕业设计之中。

总的来说，这次的毕业设计让我受益匪浅，我更意识到了软件设计的重要性。要做好一个项目，一个完整成熟的设计文档必不可少。这次的设计使我摆正了以后学习的方向，提高了认识，也使我获益良多。

参考文献

1\]夏火松．数据仓库与数据挖掘技术．北京：科学出版社\[M\]．2004 \[2\]Angela Bonifati，Fabiano Cattanco，StefanoCeri，Alfonso Fuggetta． Designing Data Marts for Data Warehouses．ACM Transactions on Software Engeering and Methodology．2001．10 \[3\]Jiawei Han,Micheline Kamber．Data Mining：Concepts and \[M\]．SanFransisco：Morgan Kaufmann Publishers．2001 \[4\]范全润，陈莉，杨泽民．数据挖掘技术及其应用进展．楚雄师范学院学报\[J\]．2002．6 \[5\]AgrwalR Shim K．Developing tightly-coupled data mining Applications on a System．In Proc of the 2nd Int'l Conference on Knowledge Discovery inDatabases and Data Mining\[C\]Portland，Oregon： \[6\]6 牛承珍．马季兰．浅谈数据挖掘应用\[J\]．山西科技．2008．3 \[7\]李芸．数据挖掘中关联规则挖掘方法的研究及应用\[D\]．西安：西安电子科技大学．2007 \[8\]钱冬云．数据挖掘中关联算法的研究．\[D\]．天津：天津大学．2006 \[9\]9 吴海玲．基于关联规则的数据挖掘算法研究\[D\]．南京：河海大学．2007 \[10\]唐笑林．数据挖掘技术的研究与应用阴．华东理工大学学报．2008．4 \[11\]韩涛．数据挖掘中的关联规则算法研究\[D\]．山东：中国海洋大学．2005 \[12\]焦亚冰．数据挖掘中关联规则算法的研究叨．福建电脑．2008-3 \[13\]薛红，聂规划．基于关联规则分析的"购物篮分析"模型的研究.北京工商大学学 报．2008．4 \[14\]侯筱婷．基于数据仓库、OLAP和数据挖掘技术的数据分析、展现 \[D\]．西安： 西安电子科技大学．2007 \[15\]刘爽英，贺利坚．企业数据仓库设计方法研究\[J\]．华北工学院学报．2001 \[16\]尉宁．电信行业数据仓库建设与实践\[D\]．重庆：重庆大学．2007 \[17\]马友忠．数据仓库与OLAP技术在气象数据分析中的应用与研究\[D\]．甘肃：兰州大 学．2007 \[18\]蒲道北．基于OLAP的电子政务决策支持系统的研究与实现\[D\]．重庆：重庆大学．2006 \[19\]洪佳．OLAP系统的查询性能研究\[D\]．天津：天津工业大学．2007 \[20\]李永胜．电量电费数据仓库OLAP技术研究\[D\]．北京：华北电力大学．2006 致 谢 经过几个月的努力，毕业论文顺利完成了，几年来的学习生涯也将随之结束。我在这几年的学习生活中，累计了丰富的知识，培养了严谨的逻辑思考能力，为我今天论文的完成奠定了扎实的基础。 值此毕业设计完成之际，我特别感谢我的指导老师，在他的悉心指导下，我的理论修养和时间水平都有了大幅度的提高。同时我要感谢我的同学们和朋友们，有了你们的积极帮助才能使我的论文不断的完善，最终完成了我的整篇论文。 此次毕业设计的撰写，得到了我的指导老师的悉心指导与帮助，不论是设计选题的拟定、论文提纲的审定、文献材料的搜集，还是初稿之后数次修改方案的提出，都得到了老师的悉心指点，严格把关，循循善诱，帮助我开拓思路，老师一丝不苟的作风，严谨求实的态度，踏踏实实的精神，不仅授我以文，而且教我做人，这些将积极影响我今后的学习和工作。在此向指导老师表示深深的感谢和崇高的敬意。