大数据系统测试——大数据系统解析(上)

各位好,我是

@道普云

欢迎关注我的主页

希望这篇文章对想提高软件测试水平的你有所帮助。


在本文中我们一起来看一下大数据系统每一个层次需要解决的技术问题和对应的一些技术需求。以此来作为学习大数据系统测试的基础。

数据收集层主要是进行数据源的分布式、异构化、多样化、流水化这样一些场景。我们面向的数据源的类型越来越多,越来越异构化。它整体上对数据收集的扩展性、可靠性、安全性、低延迟这些方面的要求是相对比较高的。

需要保证数据能够根据相应的传感器或数据来源的增加进行相应的扩展,保证整个数据收集过程的安全可靠,同时不能有太高的延迟,数据收集是整个大数据体系最基础的一个源头,如果这个层级不解决好,就会暴露出很多数据问题。

数据存储层的技术特点主要是数据存储海量化、结构化、非结构化。数据爆炸式的增长,我们面临的数据量级非常庞大,而且增长是越来越快的。我们的传感器的技术还有一些物联网的技术是在不断发展的,甚至说在将来随着生物材料技术的发展,我们收集数据的量级可能要到纳米级,会有很多纳米级的数据收集上来。

除了传统的结构化数据之外,还有很多非机构化数据,各种各样的数据来自于不同的传感器,他的结构是非常复杂的,不再是原来非常单纯的一些数值、文本这种简单的类型。数据类型越来越复杂,而且都是非结构化的,就导致数据的存储是非常复杂的。

在这个层面就要保证数据存储的整体扩展性、容错性和兼容性。需要能够根据数据的增长去及时地扩充,针对一些数据存储的错误需要能够进行相应的容错的处理。还要兼容各种类型的结构化和非结构化的术语。

在资源管理与服务协调层需要保证的主要有两点,首先是资源共享化,因为大数据系统所处理的数据量级是非常大的,所需要的资源也是非常大,那么这就要求资源必须保证共享化,是放在一个整体的资源池,像我们现在用到的云计算的技术,它需要保证无论是存储资源还是计算资源还是网络资源,都需要是共享化。

同时需要保证资源是弹性化的,可以随时根据资源的存储进行增减。所以说在这个层次需要考虑整体的扩展性、可靠性、安全性、高性能。

相关推荐
AORO_BEIDOU1 小时前
卫星电话究竟是“锦上添花”?还是“刚需之选”?
科技·安全·智能手机·信息与通信
莹雨潇潇1 小时前
大数据时代的隐私与自由(演讲稿)
大数据
dogplays1 小时前
Doris Streamloader安装教程
大数据
Doris Liu.6 小时前
如何检测代码注入(Part 2)
windows·python·安全·网络安全·网络攻击模型
哲讯智能科技7 小时前
智慧能源新篇章:SAP如何赋能光伏行业数字化转型
大数据·人工智能
秋说8 小时前
【区块链安全 | 第八篇】多签机制及恶意多签
安全·区块链
68岁扶墙肾透9 小时前
Java安全-FastJson反序列化分析
java·安全·web安全·网络安全·网络攻击模型·安全架构·fastjson
嘟嘟嘟嘟嘟嘟嘟.9 小时前
MapReduce的工作原理
大数据·mapreduce
天才测试猿10 小时前
Selenium常用函数总结
自动化测试·软件测试·python·selenium·测试工具·职场和发展·测试用例
汤姆yu10 小时前
基于python大数据的商品数据可视化分析系统
大数据·python·信息可视化·商品数据