数据分析平台的层次与产品构成

一、数据分析平台层次

数据源可分为离线数据、近似实时数据和实时数据,主要说明数据存储结构。流数据的核心是连续性和快速分析性。

计算层中,Spark利用集群内存加载处理数据,省去部分I/O开销,加快计算。Impala利用分布式集群和高效存储,加快大数据集查询速度,即近似实时查询。底层文件系统以HDFS为主,上层YARN是MapReduce第二版,合在一起即Hadoop最新版本。基于之上的应用有Hive、PigLatin,利用SQL思想查询Hadoop上的数据。

关键是用大数据做决策支持。R可做统计分析并利用图形展现;Mahout集数据挖掘、决策支持等算法于一身,包含基于Hadoop实现的经典算法。决策支持系统的展现通过表格和图形,数据展现工具有Tableau和Pentaho。

二、规划的数据平台产品

支持下一代企业计算关键技术的大数据处理平台,包括计算引擎、开发工具、管理工具及数据服务。计算引擎是核心,提供从多数据源异构数据进行实时数据集成、分布式环境下的消息总线、与第三方系统进行服务整合访问;设计分布式计算框架,可处理结构化和非结构化数据,并提供内存计算、规划计算、数据挖掘、流计算等服务。DataStudio包括数据建模、开发、测试等集成开发环境。管理工具包括实施、客户化及系统管理类工具。

新规划将BAP平台拆分为两部分,底层技术平台发展内存计算和数据处理,上层BI展现端重点发展仪表盘、Web和移动设备展现。两大产品通过数据处理接口和嵌入式应用服务于业务系统。

大数据处理平台为BI系统提供语义层、OLAP引擎等底层技术支撑,以及BI及ERP系统性能提升、数据挖掘、非结构化数据处理等方案。具体模块包括语义层、OLAP引擎、数据集成、数据挖掘、数据仓库、非结构化数据管理、消息总线、分布式计算系统、流计算引擎等。

相关推荐
GrowingIO技术社区1 天前
CDP项目如何评估?从业务问题到能力测试
大数据·数据分析
衡石科技1 天前
衡石高性能分析架构:HQL、查询下推与多层加速的协同设计
架构·数据分析
GrowingIO技术社区1 天前
多端用户身份怎么统一?OneID规则与验收清单
大数据·数据挖掘·数据分析
AI源码1 天前
基于机器学习的酒店数据分析及流失预测系统
人工智能·机器学习·数据分析
benchmark_cc2 天前
A 股、港股、美股如何建立统一的标的主数据格式?
开发语言·python·数据分析·pandas·量化交易·股票数据·quantdash
sibylyue2 天前
BI(商业智能)
数据分析
benchmark_cc2 天前
用 00700.HK 做港股行情清洗:字段核对、校验与个人量化开发实践
python·数据分析·pandas·量化交易·股票数据·quantdash
Zhao-Jichao2 天前
AI Prompting for Everyone 课程笔记 - P19 数据分析 Data Analysis
人工智能·笔记·数据分析
第九序言T2 天前
数据分析岗 Pandas 面试题 20 道(上):概念与读代码
python·数据分析·pandas·数据处理
奥惟斯2 天前
GEO 上线前,先把这 3 类实体信号地基补上
人工智能·深度学习·机器学习·自然语言处理·数据挖掘·数据分析·知识图谱