大数据概念

一、大数据概念

大数据是指无法使用常规软件工具在一定时间范围内进行捕捉、管理和处理的数据集合,需要使用新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产(参考百度)。

主要解决海量数据的采集、存储和分析计算等问题;

存储单位:最小的基本单位是bit,按顺序给出所有单位:bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。

二、特征(4V1C)

容量(Volume):数据的大小决定所考虑的数据的价值和潜在的信息;

种类(Variety):数据类型的多样性(网络日志、音频、视频、图片、地址位置等信息);

速度(Velocity):指获得数据的速度;

可变性(Variability):妨碍了处理和有效地管理数据的过程;

真实性(Veracity):数据的质量;

复杂性(Complexity):数据量巨大,来源多渠道;

价值(value):合理运用大数据,以低成本创造高价值;

三、大数据业务流程

首先是产品和运营提需求 ---> 大数据组搭建大数据集群、分析需求指标 --->报表可视化展示、邮件推送、大屏展示等

相关推荐
巨龙之路6 分钟前
【TDengine源码阅读】DLL_EXPORT
大数据·时序数据库·tdengine
元6331 小时前
搭建spark-local模式
大数据·spark
巨龙之路1 小时前
TDengine编译成功后的bin目录下的文件的作用
大数据·时序数据库·tdengine
莫叫石榴姐2 小时前
大模型在数据分析领域的研究综述
大数据·数据挖掘·数据分析
百锦再2 小时前
大数据技术的主要方向及其应用详解
大数据·linux·网络·python·django·pygame
巨龙之路3 小时前
【TDengine源码阅读】#if defined(__APPLE__)
大数据·时序数据库·tdengine
巨龙之路4 小时前
【TDengine源码阅读】TAOS_DEF_ERROR_CODE(mod, code)
大数据·时序数据库·tdengine
钊兵4 小时前
hivesql是什么数据库?
大数据·hive
人大博士的交易之路5 小时前
今日行情明日机会——20250516
大数据·数学建模·数据挖掘·程序员创富·缠中说禅·涨停回马枪·道琼斯结构
斯普信专业组5 小时前
Elasticsearch索引全生命周期管理指南之一
大数据·elasticsearch·搜索引擎