镜舟科技 CTO 陈鹏:从实时分析到统一的数据分析与智能平台

10 月 20 日,镜舟科技正式发布 MirrorShip Intelligence Platform(MIP),产品战略从实时分析进一步拓展至极速统一的数据分析与智能平台。在发布会上,镜舟科技 CTO 陈鹏介绍了 MIP 的整体架构,以及数据底座、业务语义与 Data Agent 如何协同,支撑企业从实时分析走向智能分析。

MIP 延续了镜舟在实时分析领域的技术积累,StarRocks 仍是平台实时分析能力的核心技术基础。在此之上,MIP 将高性能数据分析、企业业务语义与 Data Agent 连接起来,并以统一的治理能力贯穿全程,让企业在延续现有实时分析应用的同时,逐步拓展智能分析场景。

MIP 平台架构:三层能力,统一治理

MIP 围绕数据、业务理解与智能应用构建了三层能力,并以统一的治理体系贯穿其中,让企业数据从高效访问、准确理解,进一步走向业务应用。 在数据层,MirrorData 作为统一数据底座,由 MirrorBase 和 MirrorLake 共同支撑,为各类分析应用及 AI Agent 提供高性能的数据查询与访问能力,同时满足企业对可扩展性和数据治理的要求。

在业务理解层,MirrorMind 作为企业级语义层,将企业的指标定义、数据关系和业务知识组织为 Agent 可使用的业务上下文,为智能分析提供一致的业务口径和理解依据。

在智能应用层,MirrorPilot 面向用户和业务系统,通过 Data Agent 与 OpenAPI 提供智能分析能力。用户既可以通过自然语言对话开展分析,也可以将这些能力集成到现有系统和业务流程中。

MirrorControl 贯穿上述三层能力,统一提供治理、安全、全链路访问追踪与运维支持。三层能力与治理体系协同,形成从数据访问、业务理解到智能分析应用的完整链路。

MirrorData:实时分析与湖仓统一的数据底座

1. 从多套系统,到统一执行层

企业的数据分析需求日益多样:既要支撑实时报表和应用分析,也要支持数据湖上的查询,以及日益频繁的 Agent 数据访问。

过去,这些需求往往由 Hive、Trino、Presto、ClickHouse、ES 等多套系统分别承接,形成复杂的数据访问与查询链路。MirrorData 通过高性能的统一执行层,集中承接不同场景下的数据查询与分析需求。

统一执行层可以减少数据的重复复制和链路中转,降低多套分析系统并行使用带来的复杂度。面对 Agent 日益频繁的数据访问,平台通过资源隔离,减少智能分析与既有业务查询之间的资源争用,支撑两类负载并行运行。

2. 双引擎:MirrorBase 与 MirrorLake

MirrorData 由 MirrorBase 和 MirrorLake 共同支撑,分别侧重实时分析与开放湖仓存储。

MirrorBase 是主要基于 StarRocks 构建的实时分析引擎,延续其高并发、低延时的分析能力。

MirrorLake 面向开放湖仓存储,技术组成包括对象存储、Iceberg、Paimon、MetaStore 和 MSS(MirrorShip Storage System),为企业数据湖提供可扩展的开放格式存储,并支持多模态数据的承载。

两者通过分析执行与开放存储的协同,为上层应用提供统一的多模态数据基础。

3. 演进方向:将更多数据类型纳入统一底座

MirrorData 的统一,也体现在对不同数据类型的支持上。企业中的大量重要信息,既存在于结构化表格中,也分布在文本、图片、语音和视频里。以电力巡检为例,巡检照片、无人机视频、业务音频和结构化台账往往需要结合分析。过去,通常要借助其他系统完成抽帧、识别和打标签,再将处理结果导入分析平台,容易造成数据冗余、处理链路拉长和分析效率下降。

MirrorLake 将逐步把结构化、半结构化和向量化数据纳入统一分析底座。围绕这一方向,MirrorShip 聚焦多模态数据的存储、查询、分析与消费,从最具价值的跨模态分析场景切入,并与生态合作伙伴协作,共同满足客户从数据处理到分析应用的全流程需求。

4. 统一入口,同一数据基础

MirrorData 的定位,是企业查询、分析和使用数据的统一入口。它与企业已有的数据系统协同,为上层语义层和智能应用提供稳定的数据访问能力。对于上层应用,关键在于能够以一致的方式访问和分析不同类型的数据。围绕统一分析与湖仓数据访问,MirrorData 将持续完善相关能力,让报表、应用分析和 Agent 共享同一数据基础。

MirrorMind:企业级语义层

1. 从查询数据,到理解业务

当数据能够被快速查询,智能分析还需要进一步理解查询背后的业务含义。

在传统分析流程中,数据建模人员和报表开发者会预先将业务口径落实到数据模型和报表中。进入 Agent 场景后,用户直接以自然语言提问,系统需要据此确定指标定义、数据对象、时间口径,以及用户有权访问的数据范围。因此,查询生成需要业务语义的约束。MIP 在数据底座之上构建 MirrorMind,让不同用户、应用和 Agent 遵循同一套业务定义,减少因口径或理解差异造成的分析偏差。

2. 语义视图与上下文知识,协同支撑业务理解

MirrorMind 是企业级语义层,由两个互补的部分组成。

MirrorMind 由两个互补的部分组成:Semantic View(语义视图)和 Knowledge Context(上下文知识)。

Semantic View(语义视图)承载可用于计算和规则约束的业务知识,包括指标、维度、表间关系及相关逻辑,为查询生成和权限控制提供可复用的依据。

Knowledge Context(上下文知识)承载解释性的业务信息,例如指标为何如此定义、某个术语的具体含义,以及业务口径的来源等。它提供知识库的存储、查询与治理能力,也支持对接企业已有的外部知识库,例如飞书中的业务文档。

以"销售额"为例,企业既需要明确统计范围和时间规则,也需要了解这些定义背后的业务背景。前者由Semantic View(语义视图)表达并约束计算,后者由Knowledge Context(上下文知识)提供解释依据。

两者协同,让业务知识贯穿查询生成、计算执行和结果解释,使智能分析建立在一致、可解释的业务定义之上。

MirrorPilot:语义层驱动的可信 Data Agent

在语义层之上,MIP 构建了 MirrorPilot,通过 Data Agent 将数据分析能力交付给用户和业务系统。

用户提出业务问题后,MirrorPilot 首先依据语义视图明确指标、数据对象及相关约束,形成查询计划,再交由数据底座执行。上下文知识为分析结果提供解释依据,最终由 Agent 将结果与解释呈现给用户。这一过程将业务理解、计算执行和结果解释连接起来。

MirrorPilot 的可信性建立在三项具体能力之上:

  • 查询遵循统一口径:通过语义规则约束计算。

  • 数据访问受权限控制:在用户获授权的范围内开展分析。

  • 结果解释有据可依:通过上下文知识说明相关业务定义与背景。

MirrorPilot 致力于让智能分析融入企业的日常业务流程,并帮助用户理解分析结果的形成过程。

1. 两种使用方式,服务不同业务场景

MirrorPilot 提供两种互补的使用方式。

一是独立的 ChatBI 对话式分析入口。业务人员可以通过自然语言完成日常问数、数据探索和结果解读,降低使用门槛,让更多人能够直接利用企业数据。

二是通过 OpenAPI、MCP 或 Skill 等方式,将分析能力集成到企业已有的业务系统、工作流和业务 Agent 中。用户无需离开熟悉的工作环境,即可在处理当前任务时获得数据分析支持。

两种方式共享 MIP 的数据底座、语义规则和治理能力。无论从哪个应用入口发起分析,都遵循一致的指标定义和权限要求,让同一套平台能力在不同业务场景中得到复用。这种共享能力,构成了平台化产品规划的重要价值。

MirrorControl:贯穿平台的治理与运维

企业使用智能分析,需要明确谁可以访问哪些数据、不同业务和租户如何分配资源,以及 Agent 的分析过程能否被检查和追溯。MirrorControl 为这些要求提供统一支撑,并持续完善企业环境适配与智能运维能力。

  • 权限与资源隔离:统一管理数据访问和 Agent 使用权限,通过多租户资源隔离,减少不同业务负载之间的相互影响。

  • 审计与可观测:追踪 Agent 查询、探索和分析的完整链路,让分析过程可检查、可追溯。

  • 企业环境适配:持续完善信创和国产芯片的适配认证,满足企业部署需求。

  • 智能运维:MirrorBase 的 DevOps Agent 已经发布,相关能力将逐步扩展至多模态数据湖 MirrorLake。

总结:一次提问,贯通平台

以"本月各区域的销售表现如何?"为例,可以看到 MIP 各层能力如何协同工作。

MirrorPilot 接收问题,组织查询并呈现结果;MirrorMind 明确销售指标的计算方式、区域维度、时间口径和访问权限;MirrorData 执行查询,提供实时分析与湖上数据访问能力;MirrorControl 则贯穿全过程,负责访问控制、资源隔离与审计。

最终,用户获得的是遵循企业业务口径、在授权范围内生成的分析结果,以及具有业务依据的解释。从数据访问、业务理解到智能分析应用,各层能力在一次提问中形成完整链路。

在实时分析的基础上,MIP 进一步将业务语义融入数据分析,帮助企业理解数据背后的含义,并将分析能力应用于实际业务。这也是镜舟向统一的数据分析与智能平台迈进的方向:

From Data to Understanding.

相关推荐
Databend2 小时前
以云原生湖仓支撑 AI 应用落地丨Databend 亮相 2026 人工智能开放计算大会
大数据·数据库·数据分析
星辰云-3 小时前
基于机器学习的敦煌壁画修复数据分析系统
大数据·人工智能·机器学习·数据分析·毕设·文物修复·壁画修复
Aloudata3 小时前
Data Agent vs AI Native BI:企业数据分析的下一代入口到底是什么?
大数据·人工智能·数据分析·data·语义层
学术 学术 Fun8 小时前
研究方向有哪些团队获得过资助?用 NIH RePORTER 梳理项目与研究者
数据分析·科研
找方案14 小时前
从用户画像到智能定价:81页方案拆解“大数据决策与支撑平台”怎么落地
大数据·人工智能·数据分析·智慧城市·用户画像
quantdash_cc15 小时前
从实时行情到价格观察表:用 Python 和 Pandas 构建策略输入数据
开发语言·python·数据分析·pandas·量化交易·股票数据·quantdash
郝学胜-神的一滴18 小时前
AI 编程智能体 09:零门槛调用教程
人工智能·数据分析·自动化·numpy·pandas·量化投资
SelectDB19 小时前
高并发 BI 看板怎么撑住:隔离与加速配置速查
大数据·数据库·数据分析
ClouGence20 小时前
数据如何随时可用?广西水牛先生的 MySQL 实时同步实践
数据库·mysql·数据分析