大数据概念

一、大数据概念

大数据是指无法使用常规软件工具在一定时间范围内进行捕捉、管理和处理的数据集合,需要使用新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产(参考百度)。

主要解决海量数据的采集、存储和分析计算等问题;

存储单位:最小的基本单位是bit,按顺序给出所有单位:bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。

二、特征(4V1C)

容量(Volume):数据的大小决定所考虑的数据的价值和潜在的信息;

种类(Variety):数据类型的多样性(网络日志、音频、视频、图片、地址位置等信息);

速度(Velocity):指获得数据的速度;

可变性(Variability):妨碍了处理和有效地管理数据的过程;

真实性(Veracity):数据的质量;

复杂性(Complexity):数据量巨大,来源多渠道;

价值(value):合理运用大数据,以低成本创造高价值;

三、大数据业务流程

首先是产品和运营提需求 ---> 大数据组搭建大数据集群、分析需求指标 --->报表可视化展示、邮件推送、大屏展示等

相关推荐
搞笑的秀儿44 分钟前
信息新技术
大数据·人工智能·物联网·云计算·区块链
SelectDB1 小时前
SelectDB 在 AWS Graviton ARM 架构下相比 x86 实现 36% 性价比提升
大数据·架构·aws
二二孚日1 小时前
自用华为ICT云赛道Big Data第五章知识点-Flume海量日志聚合
大数据·华为
二二孚日3 小时前
自用华为ICT云赛道Big Data第四章知识点-Flink流批一体分布式实时处理引擎
大数据·华为
xufwind4 小时前
spark standlone 集群离线安装
大数据·分布式·spark
AI数据皮皮侠5 小时前
中国区域10m空间分辨率楼高数据集(全国/分省/分市/免费数据)
大数据·人工智能·机器学习·分类·业界资讯
DeepSeek大模型官方教程6 小时前
NLP之文本纠错开源大模型:兼看语音大模型总结
大数据·人工智能·ai·自然语言处理·大模型·产品经理·大模型学习
大数据CLUB7 小时前
基于spark的奥运会奖牌变化数据分析
大数据·hadoop·数据分析·spark
Edingbrugh.南空7 小时前
Hadoop高可用集群搭建
大数据·hadoop·分布式
智慧化智能化数字化方案8 小时前
69页全面预算管理体系的框架与落地【附全文阅读】
大数据·人工智能·全面预算管理·智慧财务·智慧预算