大数据系统测试——大数据系统解析(上)

各位好,我是

@道普云

欢迎关注我的主页

希望这篇文章对想提高软件测试水平的你有所帮助。


在本文中我们一起来看一下大数据系统每一个层次需要解决的技术问题和对应的一些技术需求。以此来作为学习大数据系统测试的基础。

数据收集层主要是进行数据源的分布式、异构化、多样化、流水化这样一些场景。我们面向的数据源的类型越来越多,越来越异构化。它整体上对数据收集的扩展性、可靠性、安全性、低延迟这些方面的要求是相对比较高的。

需要保证数据能够根据相应的传感器或数据来源的增加进行相应的扩展,保证整个数据收集过程的安全可靠,同时不能有太高的延迟,数据收集是整个大数据体系最基础的一个源头,如果这个层级不解决好,就会暴露出很多数据问题。

数据存储层的技术特点主要是数据存储海量化、结构化、非结构化。数据爆炸式的增长,我们面临的数据量级非常庞大,而且增长是越来越快的。我们的传感器的技术还有一些物联网的技术是在不断发展的,甚至说在将来随着生物材料技术的发展,我们收集数据的量级可能要到纳米级,会有很多纳米级的数据收集上来。

除了传统的结构化数据之外,还有很多非机构化数据,各种各样的数据来自于不同的传感器,他的结构是非常复杂的,不再是原来非常单纯的一些数值、文本这种简单的类型。数据类型越来越复杂,而且都是非结构化的,就导致数据的存储是非常复杂的。

在这个层面就要保证数据存储的整体扩展性、容错性和兼容性。需要能够根据数据的增长去及时地扩充,针对一些数据存储的错误需要能够进行相应的容错的处理。还要兼容各种类型的结构化和非结构化的术语。

在资源管理与服务协调层需要保证的主要有两点,首先是资源共享化,因为大数据系统所处理的数据量级是非常大的,所需要的资源也是非常大,那么这就要求资源必须保证共享化,是放在一个整体的资源池,像我们现在用到的云计算的技术,它需要保证无论是存储资源还是计算资源还是网络资源,都需要是共享化。

同时需要保证资源是弹性化的,可以随时根据资源的存储进行增减。所以说在这个层次需要考虑整体的扩展性、可靠性、安全性、高性能。

相关推荐
数据与人工智能律师6 小时前
数字迷雾中的安全锚点:解码匿名化与假名化的法律边界与商业价值
大数据·网络·人工智能·云计算·区块链
终焉暴龙王6 小时前
CTFHub web进阶 php Bypass disable_function通关攻略
开发语言·安全·web安全·php
mykyle8 小时前
Elasticsearch-ik分析器
大数据·elasticsearch·jenkins
weixin_lynhgworld9 小时前
淘宝扭蛋机小程序系统开发:重塑电商互动模式
大数据·小程序
软件测试-阿涛11 小时前
【性能测试】Jmeter+Grafana+InfluxDB+Prometheus Windows安装部署教程
测试工具·jmeter·性能优化·压力测试·grafana·prometheus
RPA+AI十二工作室11 小时前
影刀RPA_Temu关键词取数_源码解读
大数据·自动化·源码·rpa·影刀
Sui_Network12 小时前
探索 Sui 上 BTCfi 的各类资产
大数据·人工智能·科技·游戏·区块链
大数据张老师13 小时前
用 AI 做数据分析:从“数字”里挖“规律”
大数据·人工智能
qq_4309085714 小时前
网络安全-机遇与挑战
安全
博闻录15 小时前
以 “有机” 重构增长:云集从电商平台到健康生活社区的跃迁
大数据·重构·生活