AllData搭建AI中台,集成开源项目LabelStudio/CubeStudio,建设数据标注平台/机器学习平台

►点击链接了解更新详情:演示体验、社群咨询、商务采购:

https://docs.qq.com/doc/DVHlkSEtvVXVCdEFo

►点击下方链接一键预约,AllData 开源7周年 X 创业3周年 Meetup 分享!

https://mp.weixin.qq.com/s/K-NynJEdepL3uRfywE0HHQ

当企业内数据分散在多套异构业务系统,口径不统一、质量参差不齐,数据取数难、溯源难,报表与分析反复重复开发,数据价值难以释放?

业务场景:煤矿企业,瓦斯监测、设备运行、人员定位数据分散在多个子系统,数据孤岛严重,做安全态势分析时,需要人工导出多源数据合并整理,数据口径不一致,问题难以溯源。

接下来我们看AllData数据中台通过数据标注平台和机器学习平台两个功能,解决上述业务问题。

一、数据标注平台(LabelStudio)

数据标注平台(LabelStudio)将数据中台原始数据集、标注任务、标注结果资产化全链路一步打通,支持文本、图片、音频、视频多模态人工标注,无需跨工具反复导出导入文件,标注产出可直接回流中台,生成可用于模型训练、AI 治理的数据资产。

LabelStudio项目地址:https://github.com/HumanSignal/label-studio

1、核心功能|开源内核中台化封装

复用LabelStudio原生标注渲染引擎,完成中台适配层开发,保留完整多模态标注能力,兼容分类、实体抽取、目标检测、分割等标注类型,无需二次改造底层标注编辑器。

(注:文中为UI优化界面设计稿,产品正式上线界面会存在部分差异但功能不变,界面以上线产品为准)

首页概览页面 :集中展示全部标注项目,直观查看任务进度与完成情况,实现项目总览管控

标注工程详细页面 :完成标注工程项目创建与原始数据导入,开启标注作业流程

云存储数据源管理页面 :对接中台对象存储,统一管理标注输入数据源,打通存储与标注平台

标注工程-项目名称创建 :录入项目基础信息并绑定工作空间,完成标注项目基础元数据创建

标注工程-上传文件创建 :支持URL、本地上传多途径导入样本数据,对接中台存储实现数据接入

标注工程-模版创建 :内置多行业多类型标注模板,直接选用模板快速初始化标注项目

标注工程-模板可视化配置 :可视化配置标签体系与画布参数,自定义标注作业的交互与标签规则

标注工程-模板可视化配置 :可视化配置标签体系与画布参数,自定义标注作业的交互与标签规则

2、核心功能|中台数据全链路打通

对接中台数据湖与ODS/DWD数据集,支持Doris、对象存储等数据源直接作为标注输入;标注结果标准化自动回写中台,纳入元数据管理,实现标注数据血缘可追溯,直接供给AI训练与数据治理模块使用。

工程项目页面 :可视化统计任务完成、质检流转数据,掌握标注任务执行状态

工程项目详细页面 :基于开源标注内核,提供可视化图像标注画布,完成样本框选、标签编辑与标注任务提交

3、核心功能|一体化任务与多租户协同

复用中台统一权限与多租户体系,内置任务分片、标注-质检流转、版本快照能力,实现人员分配、工作量统计、标注版本回滚,同时对外提供开放API,可对接AI 训练、模型评估等上层平台。

租户人员管理主页面 :统一管理租户内全部成员,查看成员所属标注项目,实现团队人员集中管控

API令牌设置弹窗页面 :配置API访问令牌,开放平台接口能力,支撑外部系统对接调用

邀请成员弹窗页面 :通过邀请链接快速添加租户成员,实现多租户团队人员快速加入协作

二、机器学习平台(CubeStudio)

机器学习算法平台(CubeStudio)是AllData数据中台面向AI建模场景的一站式MLOps开发平台,打通数据准备 --- 代码开发 --- 模型训练 --- 超参调优 --- 模型部署推理全流程;

支持可视化流水线编排、Notebook在线编码、多AI框架兼容、GPU/CPU算力调度、多租户项目隔离、模型资产统一管理,降低算法开发落地门槛,支撑预测分析、特征挖掘、AI模型训练与服务发布,解决AI项目开发流程零散、模型难管理、上线部署复杂、算力资源不好管控的痛点。

Cube-Studio开源项目:https://github.com/tencentmusic/cube-studio

Cube-Studio官方文档:https://github.com/tencentmusic/cube-studio/wiki

1、核心功能 | AI全流程可视化流水线开发与实验管理

提供可视化拖拽式任务流水线编排,集成Notebook开发、AutoML超参搜索、定时调度,一站式完成从数据处理到模型训练的实验开发,实现AI实验可编排、可复现、可调度。

✅️可视化画布拖拽编排任务流,支持数据导入、数据预处理、算法训练、模型评估全流程节点配置,无需复杂脚本即可组装AI实验流程。

✅️ 内置Notebook在线开发环境,支持Python代码调试;支持AutoML自动超参搜索,自动寻优模型参数,降低调参工作量。

✅️ 支持任务流定时调度,自动执行训练任务;完整保存运行实例、任务日志,实验过程可追溯、可复现。

✅️ 兼容TensorFlow、PyTorch、XGBoost等主流深度学习与机器学习框架,适配不同算法开发需求。

机器学习任务平台页面 :展示流水线清单、新手模板,快速进入AI实验开发工作区

决策树训练部署流水线样例 :包含数据导入、处理、训练、评估、部署全节点,直观演示AI全流程画布编排

在线开发-Notebook在线开发页面 :在线代码开发页面,支持算法人员编写调试Python代码,交互式做数据探索、特征工程、模型实验

模型训练-超参搜索页面 :超参调优页面,配置搜索策略、参数范围,自动完成模型参数寻优,降低人工调参成本

模型训练-任务模版页面 :沉淀可复用任务模板,减少重复流程开发,兼容TensorFlow、PyTorch、XGBoost多算法框架

2、核心功能 | 模型资产统一管控与一键推理服务化部署

实现数据集、镜像、模型版本集中资产管理,支持模型一键发布推理服务,搭配多租户、资源监控能力,完成模型从实验环境向生产环境交付落地。

✅️ 统一管理数据集、镜像模板、模型版本资产,记录模型元信息、版本变更,实现模型资产台账化管理。

✅️ 支持模型一键部署为在线推理服务,支持GPU加速,对外提供推理接口,快速把训练好的模型交付业务系统调用。

✅️ 支持项目分组、用户权限隔离,实现多租户资源隔离,不同业务团队项目、数据、模型互相隔离。

✅️ 提供集群算力监控,实时查看CPU、GPU资源占用,实现算力资源统一调度,保障模型训练与推理服务稳定运行。

数据资产-数据集页面 :集中管理各类图像、文本、语音、机器学习训练数据集,支持数据集新增、详情查看、修改、备份等操作,统一沉淀AI训练数据资产

在线开发-镜像仓库页面 :统一维护训练推理镜像仓库连接信息,支持新增、查询、编辑与删除仓库,标准化AI运行环境资产

项目空间-项目分组页面 :多租户项目空间,做业务项目隔离,实现团队之间数据、模型、任务资源隔离

项目空间-用户管理页面 :项目内用户新增、角色权限配置,管控项目访问权限

服务化-模型管理页面 :模型版本资产台账,录入、维护模型元数据、版本信息,实现模型资产统一归档管理

模型管理修改页面 :维护模型版本、文件地址、训练与推理框架等元信息,实现模型资产信息登记与版本管理

2大功能核心定位与场景选型

1、数据标注平台(LabelStudio)

核心定位:数据标注平台是深度集成于数据中台的多模态数据集生产组件,覆盖样本接入、标注作业、质量校验、数据集版本管理、资产入库全作业链路;

支持多类型标注模板、多源数据接入、可视化标签配置与多人协同作业,统一沉淀AI训练数据集资产,降低高质量数据集制作门槛,实现样本可溯源、数据集可复用、产出物可资产化管理,解决AI项目样本分散、数据来回拷贝流转、数据集难以统一治理的痛点。

适用场景:

存在内部 AI 数据集制作、样本质量管控、数据集资产归档需求,且要求与数据中台体系打通、标注全流程支持追溯审计时推荐选用。

业务场景选型推荐(业务场景列举):

业务人员/算法标注人员可在平台完成样本导入、标签体系配置、人工标注、样本复核校验,标注完成后的数据集直接输出标准格式,可直接供给AI建模训练使用,适合煤矿、火电、汽车制造、水利、数字政务等行业AI样本生产场景。

集中管理原始业务样本、标签定义、多版本次数据集,留存标注操作记录、质检结果与样本元数据,建立数据集台账与血缘追溯,满足政务、大型集团对AI数据集合规留痕、可审计的管理要求。

支持多角色权限隔离、多人分工标注与交叉质检、多种项目创建模式,独立项目空间做数据隔离,不同业务小组并行生产数据集,规避样本混杂、环境不一致带来的数据风险。

2、机器学习平台(CubeStudio)

核心定位:CubeStudio是内嵌于数据中台的一站式MLOps建模平台,覆盖数据准备、实验开发、模型训练调优、版本管理、推理上线全AI链路;

支持可视化流水线、Notebook、多框架兼容与算力调度,统一管控AI资产,降低AI建模落地成本,实现模型可追溯、可复用、可生产交付,解决AI项目碎片化、上线难、资产难管的问题。

适用场景:

具备自主 AI 建模、模型资产管控、模型服务化上线需求,且需和数据中台深度融合、实验过程可追溯审计时推荐选用。

(注:仅调用外部 AI 接口或只做常规统计分析则不推荐。)

选型推荐(业务场景列举):

业务人员/算法工程师可在平台完成特征处理、模型训练、超参寻优,训练后的模型一键发布推理服务,对接业务系统,适合火电、煤矿、制造业时序预测场景。

集中管理数据集、镜像环境、模型版本,留存实验日志与模型元数据,实现模型台账、版本追溯,满足政务、大型集团对AI资产规范化、可审计的管理要求。

支持Notebook代码调试、拖拽式流水线编排、定时自动训练,项目空间隔离权限,多算法团队并行开展实验,减少本地开发环境不一致问题。

相关推荐
百胜软件@百胜软件1 小时前
百胜软件黄飞:让AI真正走进零售,把不确定性变成“胜券在握”
大数据·人工智能·零售
高洁011 小时前
数字孪生、具身智能、世界模型三者交叉
人工智能·python·深度学习·机器学习
2601_962071001 小时前
Kimi K3 vs DeepSeek V4-Pro实测对比:2026年同一入口十道题,耗时与token消耗差在哪
android·java·数据库
广州智造1 小时前
Radioss二次开发需要准备什么?
人工智能·算法·机器学习·cad·cae
青春不败 177-3266-05201 小时前
从通量数据到SCI论文——AI-R语言生态系统碳水热通量及其机制分析与论文
人工智能·r语言·生态学·生物多样性·生态系统服务·碳水通量
海盗12341 小时前
微软技术日报 2026-10-15:Defender 下到 Linux 桌面,Copilot 订阅明天改名
linux·人工智能·microsoft·机器人·aigc·copilot
mengzhi啊1 小时前
把数据存入sql数据库。qt,c++。
数据库·sql·qt
4SAPI1 小时前
官方API、API聚合平台与自建LLM Gateway:三种方案怎么选
大数据·人工智能·gateway·php
禁默1 小时前
论文解读 | IMR-LLM:工业多机器人任务规划与程序生成的两级架构方案
人工智能·机器人