大数据概念

一、大数据概念

大数据是指无法使用常规软件工具在一定时间范围内进行捕捉、管理和处理的数据集合,需要使用新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产(参考百度)。

主要解决海量数据的采集、存储和分析计算等问题;

存储单位:最小的基本单位是bit,按顺序给出所有单位:bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。

二、特征(4V1C)

容量(Volume):数据的大小决定所考虑的数据的价值和潜在的信息;

种类(Variety):数据类型的多样性(网络日志、音频、视频、图片、地址位置等信息);

速度(Velocity):指获得数据的速度;

可变性(Variability):妨碍了处理和有效地管理数据的过程;

真实性(Veracity):数据的质量;

复杂性(Complexity):数据量巨大,来源多渠道;

价值(value):合理运用大数据,以低成本创造高价值;

三、大数据业务流程

首先是产品和运营提需求 ---> 大数据组搭建大数据集群、分析需求指标 --->报表可视化展示、邮件推送、大屏展示等

相关推荐
奈落247 小时前
AI 编程从助手到 Agent:基于两份资料看哪些环节可以交出去,哪些必须自己攥住
大数据·人工智能
Joker可视化开发平台7 小时前
AI短剧接棒真人剧:开机量跌七成,普通人进场窗口在收窄
大数据·人工智能
数据狐(Datafox)7 小时前
淘宝图片搜索 API 落地实战:基于以图搜货搭建跨境电商选品系统
java·大数据·微服务
YangYang9YangYan7 小时前
2027 秋招|数据科学与大数据技术面试项目价值回答思路,告别纯代码描述
大数据·面试·职场和发展
2601_960356388 小时前
2027 校招质量工程师岗位拆解:数学、统计、大数据专业如何判断匹配度
大数据
KeyAction66669 小时前
AI改写战争规则,也在改写商业规则:体系对抗时代已经到来
大数据·人工智能
Qyr999 小时前
2026年全球二极管模组行业市场规模全景研判:竞争格局与发展趋势全解析
大数据·人工智能
小小小米粒11 小时前
重置本地git
大数据·git·elasticsearch
梦想画家11 小时前
SQLMesh 告警落地实践:SQL 模型跑挂了,如何自动发邮件并推送自建业务系统
大数据·数据开发·sqlmesh
大大大大晴天11 小时前
每天认识一个组件:Apache Calcite
大数据