大数据系统测试——大数据系统解析(上)

各位好,我是

@道普云

欢迎关注我的主页

希望这篇文章对想提高软件测试水平的你有所帮助。


在本文中我们一起来看一下大数据系统每一个层次需要解决的技术问题和对应的一些技术需求。以此来作为学习大数据系统测试的基础。

数据收集层主要是进行数据源的分布式、异构化、多样化、流水化这样一些场景。我们面向的数据源的类型越来越多,越来越异构化。它整体上对数据收集的扩展性、可靠性、安全性、低延迟这些方面的要求是相对比较高的。

需要保证数据能够根据相应的传感器或数据来源的增加进行相应的扩展,保证整个数据收集过程的安全可靠,同时不能有太高的延迟,数据收集是整个大数据体系最基础的一个源头,如果这个层级不解决好,就会暴露出很多数据问题。

数据存储层的技术特点主要是数据存储海量化、结构化、非结构化。数据爆炸式的增长,我们面临的数据量级非常庞大,而且增长是越来越快的。我们的传感器的技术还有一些物联网的技术是在不断发展的,甚至说在将来随着生物材料技术的发展,我们收集数据的量级可能要到纳米级,会有很多纳米级的数据收集上来。

除了传统的结构化数据之外,还有很多非机构化数据,各种各样的数据来自于不同的传感器,他的结构是非常复杂的,不再是原来非常单纯的一些数值、文本这种简单的类型。数据类型越来越复杂,而且都是非结构化的,就导致数据的存储是非常复杂的。

在这个层面就要保证数据存储的整体扩展性、容错性和兼容性。需要能够根据数据的增长去及时地扩充,针对一些数据存储的错误需要能够进行相应的容错的处理。还要兼容各种类型的结构化和非结构化的术语。

在资源管理与服务协调层需要保证的主要有两点,首先是资源共享化,因为大数据系统所处理的数据量级是非常大的,所需要的资源也是非常大,那么这就要求资源必须保证共享化,是放在一个整体的资源池,像我们现在用到的云计算的技术,它需要保证无论是存储资源还是计算资源还是网络资源,都需要是共享化。

同时需要保证资源是弹性化的,可以随时根据资源的存储进行增减。所以说在这个层次需要考虑整体的扩展性、可靠性、安全性、高性能。

相关推荐
G皮T2 小时前
【Elasticsearch】自定义评分检索
大数据·elasticsearch·搜索引擎·查询·检索·自定义评分·_score
独行soc4 小时前
#渗透测试#批量漏洞挖掘#HSC Mailinspector 任意文件读取漏洞(CVE-2024-34470)
linux·科技·安全·网络安全·面试·渗透测试
Me4神秘4 小时前
Linux国产与国外进度对垒
linux·服务器·安全
老K(郭云开)5 小时前
谷歌浏览器安全输入控件-allWebSafeInput控件
安全
搞笑的秀儿6 小时前
信息新技术
大数据·人工智能·物联网·云计算·区块链
Whoisshutiao6 小时前
网安-XSS-pikachu
前端·安全·网络安全
SelectDB6 小时前
SelectDB 在 AWS Graviton ARM 架构下相比 x86 实现 36% 性价比提升
大数据·架构·aws
二二孚日6 小时前
自用华为ICT云赛道Big Data第五章知识点-Flume海量日志聚合
大数据·华为
还是奇怪6 小时前
Linux - 安全排查 2
linux·运维·安全
二二孚日8 小时前
自用华为ICT云赛道Big Data第四章知识点-Flink流批一体分布式实时处理引擎
大数据·华为