关键技术一云安全技术
云安全研究主要包含:
一是云计算技术本身的安全保护工作, 涉及相应的数据完整性及可用性、隐私保护性以及服务可用性等方面的内容;
二是借助于云服务的方式来保障客户端用户的安全防护需求, 通过云计算技术来实现互联网安全, 涉及基于云计算的病毒防治、木马检测技术等。
在云安全技术的研究方面, 主要包含: 云计算安全性、保障云基础设施的安全性、云安全技术服务。
大数据概述
大数据( Big Data ) 指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合, 是具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
主要特征
大数据主要特征包括:
1 )数据海量: 大数据的数据体量巨大, 从TB 级别跃升到PB 级别(1PB= 1024TB)、EB 级别(1EB= 1024PB),甚至达到ZB 级别(1ZB= 1024EB)。
2 ) 数据类型多样: 大数据的数据类型繁多, 一般分为结构化数据和非结构化数据。
3 )数据价值密度低: 数据价值密度的高低与数据总量的大小成反比
4 ) 数据处理速度快: 为了从海量的数据中快速挖掘数据价值, 要求要对不同类型的数据进行快速的处理。
关键技术
大数据技术架构主要包含大数据获取技术、分布式数据处理技术和大数据管理技术, 以及大数据应用和服务技术。
大数据获取技术: 大数据获取的研究主要集中在数据采集、整合和清洗三个方面。
数据采集技术主要是通过分布式爬取、分布式高速高可靠性数据采集、高速全网数据映像技术, 从网站上获取数据信息。除了网络中包含的内容之外, 对于网络。
1 ) 流量的采集可以使用DPI 或DFI 等带宽管理技术进行处理。
数据整合技术是在数据采集和实体识别的基础上, 实现数据到信息的高质量整合。
2 ) 数据整合技术包括多源多模态信息集成模型、异构数据智能转换模型、异构数据集成的智能模式抽取和模式匹配算法、自动容错映射和转换模型及算法、整合信息的正确性验证方法、整合信息的可用性评估方法等。
3 ) 数据清洗技术一般根据正确性条件和数据约束规则, 清除不合理和错误的数据, 对重要的信息进行修复, 保证数据的完整性。
分布式数据处理技术: 主流的分布式计算系统有Hadoop 、Spark 和Storm。Hadoop常用于离线的复杂的大数据处理, Spark 常用于离线的快速的大数据处理, 而Storm 常用于在线的实时的大数据处理。
大数据管理技术: 大数据管理技术主要集中在大数据存储、大数据协同和安全隐私等方面。
大数据应用和服务技术: 主要包含分析应用技术和可视化技术。