data fabric

谈一谈数据虚拟化的技术核心和应用架构数据虚拟化（Data Virtualization）是对数据资源的抽象，通过屏蔽数据资源的存储位置和访问方式，能够将不同数据源、不同格式的数据资源，进行逻辑上的整合集成。这一技术方案与过去面对传统数仓的弊端，业界过去经常采取的方式 Presto 方案有一定相似，但存在明显差别。

数据编织 Data Fabric：解决“数据孤岛”的新思路一个不争的事实是，企业内部数据孤岛的形成，根因在于业务发展的复杂性与技术迭代的快速性导致。具体而言，随着企业业务快速增长，如新生产线的引入或外部公司的并购，这些活动往往伴随着新系统上线与独立数据体系的融入，自然催生了新的数据孤岛。此外，技术革新亦是促成数据孤岛的另一重要因素，尤其在大型企业中尤为显著，如金融头部企业，为追求效率与竞争力，不断采纳业界新技术，导致系统多样性与数据沉淀加剧，进而加剧了数据孤岛现象。

浅谈数据管理架构 Data Fabric（数据编织）及其关键特征、落地应用伴随着企业从数字化转型迈向更先进的数智化运营新阶段，对看数、用数的依赖越来越强，但数据的海量增长给数据管理带来一系列难题，如数据类型和加工链路日益复杂，数据存储和计算引擎更加分散，数据需求响应与数据质量、数据安全风险难以兼顾，数据流通过程中的合规性冲突，以及混合多云环境下的“数据孤岛”等。

破除“数据孤岛”新策略：Data Fabric（数据编织）和逻辑数据平台今天，我们已经进入到一个数据爆发的时代，仅 2022 年，我国数据产量就高达 8.1ZB，同比增长 22.7%，数据产量位居世界第二。数据作为新型生产资料，是企业数智化运营的基础，已快速融入到生产、分配、流通、开发、应用、服务等各环节之中，深刻改变着企业的生产方式、管理方式和经营模式。通过数据驱动，能够帮助企业不断提高业务决策效率和质量，适应快速变化的商业环境，构建新质生产力。

从“数据孤岛”、Data Fabric（数据编织）谈逻辑数据平台提到逻辑数据平台，其核心在于“逻辑”，与之相对的便是“物理”。在过去，为了更好地利用和管理数据，我们通常会选择搭建数据仓库和数据湖，将所有数据物理集中起来。但随着数据量、用数需求和用数人员的持续激增，数据架构的复杂度和组织架构的复杂度对物理集中的方式带来诸多挑战。

数据虚拟化：零数据搬运，实现全域数据的集成和自适应加速数据虚拟化技术的兴起，与传统数据仓库体系的弊端日益显现有着密切关系。过去，企业通常会构建数据仓库来存储与加工结构化数据。数据仓库虽然实现了数据的物理集中存储，但过于依赖大量的 ETL 工程师来支持数据的集成、准备、开发与管理。随着半结构、非结构化数据量的急剧膨胀，以及业务看数、用数需求的高频化，传统的数据仓库体系已逐渐无法有效应对这些新挑战。