数据 + 模型 驱动 AI Native 应用发展

作者：魏博文阿里云智能集团资深产品解决方案总监，大数据和人工智能平台解决方案负责人

随着人工智能技术的飞速发展，从生成式人工智能（GenAI）到自主代理人工智能（Agentic AI）的演进，企业面临着构建 AI Native 应用的机遇与挑战。本文将深入探讨 AI 开发模式的转变、企业应用的挑战以及技术架构和开发工具的应用，旨在为读者提供一个全面的视角，以理解如何利用数据和模型驱动 AI Native 应用的发展。

一、引言

从早期的生成式人工智能（Generative AI）到如今备受关注的自主代理人工智能（Agentic AI），AI 技术正经历着前所未有的变革。这些变革不仅影响着技术的演进方向，也深刻地改变着企业构建和部署 AI 应用的方式。随着数据量的爆炸式增长和业务需求的日益复杂，企业对 AI 应用的要求也越来越高。AI Native 应用作为一种新型的开发模式，将数据和模型深度融合，为企业提供了更高效、更智能的解决方案。本文将深入探讨这一变革过程，分析企业面临的挑战，并介绍相应的技术架构和开发工具，以助力企业更好地把握 AI 发展的脉搏。

二、AI 开发模式的演进

（一）从 Generative AI 到 Agentic AI

生成式人工智能（Generative AI）主要侧重于内容生成，通过调用大模型的能力，在给定上下文的限制下生成文本、图像等。然而，其自主性较低，通常仅能对输入做出被动反应。随着时间的推移，AI 开发模式逐渐向任务执行和复杂目标达成转变，这便是自主代理人工智能（Agentic AI）的兴起。

Agentic AI 具备更高的自主性，能够通过多个代理（Agent）的协同工作，达成复杂的系统级目标。它不仅能够执行任务，还能进行推理、规划，并拥有持久的记忆系统，使得多个代理之间可以共享知识，共同完成动态、多领域的复杂任务。

从 Generative AI 到 Agentic AI 的演进，不仅是技术上的进步，更是 AI 应用场景的拓展。Generative AI 主要应用于内容创作、文本生成等相对单一的任务，而 Agentic AI 则能够在复杂的业务流程中发挥重要作用。

（二）AI 开发工具的演进

AI 开发将经历从 AI 基础设施（AI Infra）、大型语言模型和代理工作室（LLM&Agent Studio）到 Agentic AI 的演进过程。这一趋势表明，未来的 AI 开发将更加注重代理的构建和协作，以满足日益复杂的业务需求。AI 开发工具的演进反映了技术发展的方向，也为开发者提供了更强大的支持。 开发工具的进步使得构建 Agentic AI 应用变得更加可行。

1. 感知与工具使用：通过检索增强生成（RAG）技术，使代理能够获取和利用最新的外部知识，减少幻觉现象。同时，改进函数调用和工具集成框架，提升代理与外部系统互动的灵活性和可靠性。

2. 推理与规划：采用更高级的 Agentic 循环（如 ReAct 变体），使代理能够深入思考和规划。探索因果建模和模拟规划技术，让代理在虚拟环境中测试策略，从而更好地理解和应对现实世界的复杂性。

3. 记忆系统构建：发展持久记忆架构，包括情景记忆、语义记忆和向量记忆，使代理能够维持长期上下文并共享知识，为复杂任务的完成提供记忆支持。

4. 多代理协作：构建多代理编排框架，实现任务分解、角色分配和冲突解决的智能化。发展标准化的代理间通信协议（如 A2A，Agent-to-Agent），提高协作效率和互操作性。引入反思与自我批评机制，使代理团队能够评估自身表现并进行修正。

5. 可信赖性：建立监控、审计和可解释性管道，记录代理的决策和互动过程，提高系统的透明度，便于调试和责任追溯。

6. 治理感知架构 ：设计具备在不同业务/领域数据的多 Agent 场景下做角色隔离、权限控制、安全沙箱等功能的架构，确保代理行为符合规范。探索伦理对齐方法，使代理团队的目标与人类价值观保持一致。

三、企业 Native AI 应用的挑战

（一）全链路 AI Native 应用的挑战

企业构建 AI Native 应用需要面对全链路的挑战，包括微调、训练、部署和评测等环节。对于中小企业而言，这些环节的门槛较高，导致 AI 应用效率不足。全链路的应用挑战主要体现在：

1. 何时触发大模型后训练

• 在上线后的服务遇到精度瓶颈时，需要判断是通过增量微调（Fine-tuning）还是从头再训练更大规模模型；

• 触发条件包括在线流量下降、核心指标（如召回率、准确率）持续跌落，以及新业务需求出现时的评估决策。

2. 在线服务不中断保障

• 在进行模型更新或再训练时，需采用蓝绿部署或滚动更新等策略，确保系统在切换期间持续可用；

• 需结合流量切分、灰度发布和回滚机制，避免一次大规模模型替换导致线上服务不可用。

3. 资源与成本控制

• 从预训练大模型到再训练，所需 GPU 集群、存储和网络带宽投入巨大；

• 对中小企业来讲，何时使用云端托管、何时自建私有算力，都需要在成本和数据安全之间做权衡。

（二）数据处理的复杂性

随着多模态数据（如文本、图像、视频、音频等）的引入，企业的数据链路已不再是单一的结构化表格。一个典型的回流链路是：

• 结构化 → 生成 BI 报表（图表） → 输出为图像/视频等非结构化格式 → 再回流至数据平台进行二次迭代。

在这个过程中，企业面临：

1. 数据格式转换

• 如何将业务数据库中的结构化数据快速转换为适合可视化的宽表（宽表生成器）；

• 如何对外输出的图表、视频流等非结构化文件进行自动解析，提取数值、时间戳等要素并回流。

2. 双向流水线建设

• 从原始结构化数据到前端可视化的正向流水线需要高效的 ETL 与图表生成能力；

• 从非结构化输出到模型训练/监控的反向流水线需要 OCR、图像识别或视频分帧等多模态解析组件。

3. 一致性与实时性

• 保证回流数据与原始数据库在时间维度和业务维度上的一致性；

• 支持实时或近实时的双向数据流转，避免延迟累积影响决策。

（三）数据基础设施的升级

原本的大数据架构在不断升级迭代的过程中，面临着引入 AI 技术后的复杂性挑战。如何利用云计算的技术优势，将大数据与 AI 有机结合，成为企业亟待解决的问题。

四、Chat BI 技术架构及开发流程

（一）Chat BI 技术架构

以下是关于构建复杂BI系统的简化描述：

1. 数据接入与管理

• 多源数据整合：系统需支持从多种数据源（数据库、数据仓库、非结构化存储等）接入数据，并管理底层数据引擎的异构性。

• 元数据与历史记录：需存储数据的元信息（如表结构、字段定义）及历史执行的SQL语句和返回结果，以辅助系统理解业务流程并优化后续操作。

2. 数据处理与优化

• 宽表生成器：构建业务场景适配的宽表，将分散数据整合为高效查询的中间表，提升BI查询速度。宽表需关联业务属性，支持生命周期管理（如实时更新、版本控制）。

• 模板系统：基于自然语言（NL）输入，通过预设模板或大模型生成的模板映射用户问题（如财务趋势查询），提高结果精准度。模板可由人工录入或 系统自动生成，并与宽表数据联动。

3. Agent工作流（核心逻辑）

• 自然语言解析到任务编排：

• 将用户输入的自然语言转化为具体任务，生成SQL查询或数据操作指令。

• 根据数据集推荐结果，选择合适的表或宽表作为查询目标。

• 动态调试与执行：

• 生成的SQL或查询指令可能因语法或数据问题失败，需通过模型分析错误并调整指令，形成循环优化、失败重试、模型自动纠错等流程。

• 支持多步骤查询组合（如顺序执行多条SQL），并管理执行结果的一致性。

4. 数据推荐与执行支持

• 数据集推荐系统：

• 结合知识库（包含表元数据、人工标注信息）和历史问答记录，推荐与用户查询最匹配的数据集。

• 例如：用户提问"营销效果"，系统需自动关联底层营销相关的数据表或宽表。

•执行与反馈：

• 成功执行后生成数据结果表，并进一步提炼为可视化报表和数据洞察（如趋势分析、异常提示）。

• 系统可基于结果主动推荐后续问题或优化建议（如"是否需按区域细分销售数据？"）。

5. 反馈与持续优化

• 闭环迭代机制：

• 将每次交互的自然语言输入、推荐数据、执行结果及用户反馈回流至系统，持续训练模型、优化模板库和数据推荐策略。

• 通过历史数据积累提升系统对业务流程的理解能力，减少人工干预。

（二）构建 Chat BI 对话核心流程

构建 Chat BI 对话核心流程包括以下几个关键步骤：

1. 数据集推荐：结合历史查询库和业务数据构建的知识库，推荐匹配的数据集。

2. NL to SQL 转换：调用 NL to SQL 模块，生成与业务需求匹配的 SQL 语句。

3. SQL 执行与纠错：执行 SQL 语句，并对可能出现的错误进行纠正，获取准确的执行结果。例如，如果 SQL 语句存在语法错误或逻辑错误，系统会自动检测并纠正，确保查询结果的准确性。

4. 数据可视化与洞察生成：基于执行结果生成图表及数据洞察，为业务决策提供直观的支持。

5. BI 报告生成与进一步探查：生成 BI 报告，并推荐基于报告的进一步数据探查问题，引导用户深入分析数据。

（三）NL2DATA Workflow

在构建数据驱动系统时，系统首先需要识别目标数据集并检查是否存在所需表格。若表格缺失，将触发异常处理机制，系统会直接返回"无法执行"的反馈，并由外部代理根据结果提示用户补充信息或调整指令。当表格存在时，系统会将自然语言指令转换为结构化操作，生成执行逻辑并返回处理结果，过程中嵌入多层异常处理（如数据获取失败时跳过执行）。为支持这一流程，系统需整合数据与AI开发全链路：实时接入原始数据，完成解析、预处理、特征工程等步骤，并通过检索模块调用数据资源。

生成的训练数据持续优化模型，形成"数据采集-处理-训练-部署"的闭环。底层模型支持持续更新，可无缝回流至线上系统。整个架构采用模块化设计，代理系统与数据引擎深度耦合，数据平台具备弹性扩展能力，使开发人员专注业务优化，底层数据流转与模型迭代由自动化流程处理，从而加速系统迭代并降低维护成本。这种端到端架构在保证可靠性的同时，实现了从用户指令到数据输出的灵活处理。

五、系统开发及基础开发工具

（一）面向多模态数据的 Data + AI 一站式开发

为了应对多模态数据的挑战，企业需要构建一站式的数据和 AI 开发平台，其关键组件包括：

1. 大数据处理平台：提供数据集成、数据开发和任务调度等功能，支持多种数据源的接入和处理。

2. 数据挖掘与检索：利用数据挖掘技术发现数据中的潜在价值，并通过检索技术快速获取所需信息。

3. 向量增强版 Elasticsearch：提升搜索引擎的能力，支持向量相似性搜索，更好地处理多模态数据。

4. PAI（平台人工智能）：涵盖多模态检索、Tag 表、人工标注数据、解析写入、Meta 表、更新表和向量化数据写入等功能，为 AI 模型的训练和应用提供支持。

（二）企业级 AI 应用开发 - 阿里云 PAI-LangStudio 产品架构

LangStudio技术架构包含底层Ops平台（含runtime检查、数据安全、评测工具、全链路可观测及tracing）及应用搭建两部分，涉及Agent构建（DDSL、协议对接、系统内存）和Workflow编排能力。

LangStudio 作为企业级 AI 应用开发平台，提供了从模型到应用的全流程支持。其产品架构包括：

1. AI Agent 应用生态：涵盖数据分析 Chat BI Agent、AI Search & RAG Agent、Deep Research Agent 等多种代理应用，满足不同业务场景的需求。

2. AI 应用适配层：实现对不同 AI 应用的适配，确保应用能够在平台上稳定运行。

3. 模板市场：提供丰富的模板资源，方便开发者快速构建 AI 应用。

4. LangStudio - LLM 企业级应用平台：包括 Model Gallery、Agent DSL、Reasoning/Plan、Agentic workflow、Agent Memory、Knowledge Retrieval、Agent Tool Use、MCP/A2A Loop/Iteration、Dify 兼容等功能模块，为开发者提供强大的开发能力。

5. LLMOps 平台层：关注准确性、高性能和稳定性，确保 AI 应用的可靠运行。

6. 工具生态：整合 PAI-DLC（AI 分布式训练）、PAI-DSW（AI 交互式开发）和 PAI-EAS（AI 推理服务）等工具，为 AI 应用开发提供全方位支持。

7. AI 基础架构：依托 GPU、高性能计算和高速网络等基础设施，为 AI 应用提供强大的计算能力。例如，GPU 的并行计算能力可以加速 AI 模型的训练和推理过程，提高应用的性能。

（三）Workflow 编排

Flow作为核心架构提供了多维度的能力集成，包括大模型推理、Python脚本执行、知识库检索以及外部工具调用，支持将端到端业务流程或Agent内部子流程封装为可复用的Workflow。

此类Workflow可进一步打包为独立Agent，实现系统级功能的二次集成与扩展，并支持全链路Tracing调试能力。平台预置了标准化Workflow模板及Agent组件，用户可直接调用或基于场景定制。

在Agent构建层面，Agent Builder支持复杂系统对接，例如定义多源外部输入接口、编排多角色Large Language Model协同（如规划类Orchestration Agent、检索增强生成RAG Agent及函数调用专用Agent），并通过反馈机制优化多Agent间的任务协调与环境交互。最终，结合模型微调、Agent工程化封装与Workflow编排，可形成完整的应用模块，并通过与Hologres等数据引擎的深度集成（调用其MPP计算能力），实现低技术复杂度的分析型系统快速构建，相较传统架构显著简化技术栈。

（四）Agents Builder

Agents Builder 提供了强大的代理构建能力，其流程示意图包括：

1. Agent 节点构建：构建代理节点，包括模型测评、模型微调、Workflow 构建和 Agent 应用构建等步骤。

2. LangStudio 模块：涵盖 Agent 应用、模型部署、模型调用等功能模块，支持代理应用的完整开发生命周期。

（五）数据分析 ChatBI + Hologres MCP Server

数据分析 ChatBI 与 Hologres MCP Server 的集成应用步骤如下：

1. Model Gallery 部署 LLM 模型：在 Model Gallery 中部署大语言模型（LLM），为数据分析提供基础支持。

2. 搭建 Hologres MCP Server 应用：配置 Hologres MCP Server，实现数据的高效存储和管理。

3. LangStudio 使用模板构建数据分析 Hologres ChatBI Agent 应用：利用 LangStudio 提供的模板，快速构建数据分析 ChatBI Agent应用。

4. 在 LangStudio 运行对话模式进行 Chat 数据分析验证：通过对话模式对构建的应用进行验证，确保其能够准确地完成数据分析任务。

5. 在 LangStudio 部署 Qwen 模型服务，支持 API 调用模型推理能力：部署 Qwen 模型服务，使其能够通过 API 提供模型推理能力，为数据分析应用提供智能化支持。

六、结论

随着 AI 技术的不断发展，企业构建 AI Native 应用面临着前所未有的机遇与挑战。从 GenAI 到 Agentic AI 的演进，不仅推动了 AI 开发模式的变革，也为企业提供了更强大的工具和能力。然而，在数据处理、基础设施升级和全链路应用构建等方面，企业仍需克服诸多困难。通过合理利用 Chat BI 技术架构、LangStudio 产品架构等先进的技术和工具平台，企业能够更高效地开发和部署 AI Native 应用，实现智能化转型，提升竞争力，在数字化浪潮中脱颖而出。未来，随着技术的进一步成熟和应用场景的拓展，AI Native 应用将在更多的行业和领域发挥重要作用，为企业创造更大的价值。

以上提到的部分阿里云产品，欢迎大家在阿里云上开通与免费使用。