大数据概念

一、大数据概念

大数据是指无法使用常规软件工具在一定时间范围内进行捕捉、管理和处理的数据集合,需要使用新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产(参考百度)。

主要解决海量数据的采集、存储和分析计算等问题;

存储单位:最小的基本单位是bit,按顺序给出所有单位:bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。

二、特征(4V1C)

容量(Volume):数据的大小决定所考虑的数据的价值和潜在的信息;

种类(Variety):数据类型的多样性(网络日志、音频、视频、图片、地址位置等信息);

速度(Velocity):指获得数据的速度;

可变性(Variability):妨碍了处理和有效地管理数据的过程;

真实性(Veracity):数据的质量;

复杂性(Complexity):数据量巨大,来源多渠道;

价值(value):合理运用大数据,以低成本创造高价值;

三、大数据业务流程

首先是产品和运营提需求 ---> 大数据组搭建大数据集群、分析需求指标 --->报表可视化展示、邮件推送、大屏展示等

相关推荐
冬至喵喵32 分钟前
【hive】函数集锦:窗口函数、列转行、日期函数
大数据·数据仓库·hive·hadoop
暗影八度37 分钟前
Spark流水线+Gravitino+Marquez数据血缘采集
大数据·分布式·spark
Tianyanxiao2 小时前
华为×小鹏战略合作:破局智能驾驶深水区的商业逻辑深度解析
大数据·人工智能·经验分享·华为·金融·数据分析
线条14 小时前
大数据 ETL 工具 Sqoop 深度解析与实战指南
大数据·sqoop·etl
mazhafener12311 小时前
智慧照明:集中控制器、单双灯控制器与智慧灯杆网关的高效协同
大数据
打码人的日常分享11 小时前
物联网智慧医院建设方案(PPT)
大数据·物联网·架构·流程图·智慧城市·制造
Lansonli13 小时前
大数据Spark(六十一):Spark基于Standalone提交任务流程
大数据·分布式·spark
Rverdoser14 小时前
电脑硬盘分几个区好
大数据
傻啦嘿哟14 小时前
Python 数据分析与可视化实战:从数据清洗到图表呈现
大数据·数据库·人工智能
Theodore_102214 小时前
大数据(2) 大数据处理架构Hadoop
大数据·服务器·hadoop·分布式·ubuntu·架构