FusionInsight MRS云原生数据湖

- - [1、FusionInsight MRS概述](#1、FusionInsight MRS概述)
  - [2、FusionInsight MRS解决方案](#2、FusionInsight MRS解决方案)
  - [3、FusionInsight MRS优势](#3、FusionInsight MRS优势)
  - [4、FusionInsight MRS功能](#4、FusionInsight MRS功能)

1.1、数据湖概述

数据湖是一个集中式存储库，允许以任意规模存储所有结构化和非结构化数据。可以按原样存储数据（无需先对数据进行结构化处理），并运行不同类型的分析，从控制面板和可视化到大数据处理、实时分析和机器学习，以指导做出更好的决策

数据湖的价值在于它能够在更短的时间内从更多来源利用更多数据，并使用户能够以不同方式协同处理和分析数据，从而做出更好、更快的决策

1.2、FusionInsight概述

FusionInsight智能数据湖采用了领先的Lakehouse架构，将数据湖和数据仓库的优势融合在一起，提供了高效、规范、灵活、简洁的架构和低资源占用。这种架构降低了传统湖仓割裂导致的系统间复杂度，并减少了在湖、仓、AI开发之间来回迁移数据的工作

FusionInsight由4个子产品和1个操作运维系统组成：

Fusion Insight HD（大数据处理环境）：一个分布式数据处理系统，对外提供大容量的数据存储、分析查询和实时流式数据处理分析能力
Fusion Insight MPPDB（并行处理关系型数据库）：采用大规模并行处理（Massively Parallel Processing，MPP）架构，支持行存储和列存储，提供PB级数据量的处理能力
Fusion Insight Miner（数据分析平台）：基于Fusion Insight HD的分布式存储和并行计算技术，提供从海量数据中挖掘有价值的信息
Fusion Insight Farmer（大数据应用容器）：为企业业务提供统一开发、运行和管理的平台
Fusion Insight Manager（操作运维系统）：提供高可靠、安全、容错、易用的集群管理能力，支持大规模集群的安装部署、监控、告警、用户管理、权限管理、审计、服务管理、健康检查、问题定位、升级和补丁等功能

FusionInsight包括多个云服务‌：MRS云原生数据湖、DWS云数据仓库、DGC数据湖治理中心、GES图引擎等

1.3、MRS概述

华为MRS（MapReduce Service）是华为云推出的一种大数据处理服务，基于开源的Hadoop生态系统，通过简化的大数据处理流程，为用户提供一个高效、灵活、安全的大数据计算平台

华为MRS不仅支持传统的批处理任务（如MapReduce），还支持Spark、Hive、HBase等多种大数据处理引擎，适用于各类数据分析、处理和存储任务

通过华为云MRS，企业可以在云环境中构建自己的大数据平台，进行数据存储、计算、分析和可视化，帮助企业处理海量数据并从中提取有价值的洞察

华为MRS作为一个高性能的大数据处理平台，提供了一种高效、可靠、安全的数据管理和分析平台，可以帮助企业和组织更好地管理和利用海量数据

华为MRS的优势包括：

1.4、FusionInsight MRS概述

FusionInsight MRS是华为FusionInsigth HD企业级大数据平台与华为云MRS服务的融合版本，是华为云（Huawei Cloud）、HCS（Huawei Cloud Stack）统一的企业级大数据云服务

FusionInsight MRS完全兼容开源组件接口，结合华为云计算、存储优势及大数据行业经验，为客户提供高性能、高性价比、灵活易用的全栈大数据平台，可以一站式运行Hadoop、Spark、HBase、Kafka、Flink等大数据组件，帮助企业快速构建海量数据处理系统

FusionInsight MRS针对开源组件进行了优化升级，提供全新能力，并在社区基础上对功能、性能、可靠性等方面进行了增强。例如，Hive支持Tez引擎，支持Flink On Hive等

FusionInsight MRS云原生数据湖让客户在一个Lakehouse湖仓一体架构上实现"三湖一集市"，满足用户在建设数据湖过程中快速构建现代数据平台、持续演进的需求

FusionInsight MRS的优势包括：

FusionInsight MRS云原生数据湖提供三个核心功能：

4.1、离线数据湖：Lakehouse湖内建仓，分析链路短，建设周期短

4.2、实时数据湖：数据全链路实时分析，价值兑现从T+1到T+0

4.3、逻辑数据湖：跨湖协同分析，效率50倍提升

参考文章：https://blog.csdn.net/qq_20042935/article/details/125068919