引言
数据接入数仓后，可以做报表、算指标、提供接口，也可以继续整理为 AI 训练与评测需要的样本。
但从一张业务表到一份可交付的数据集，中间还有不少工作：明确输入字段、统一标签口径、处理敏感信息、核对标注结果、排除无效样本，再把数据按版本保存和交付。随着数据量增加，这些工作也需要有统一的操作流程和管理入口。
这次，数睿通 2.0 新增高质量数据集模块，将数仓来源、AI 预标注、人工处理、标注检验和版本导出连接起来。 同时，对工作台、业务页面、流程画布和暗黑模式做了一轮集中优化。
本轮更新围绕三个方向展开：扩展业务数据在 AI 场景中的用途，通过 AI 与批量操作提升处理效率，并让不同模块之间的使用体验更加统一。下面结合实际页面，详细介绍这次更新。
一、新增高质量数据集模块，把数仓数据整理成可交付样本
过去，数据进入数仓之后，主要用于查询、报表、指标分析或者接口服务。现在，如果希望用这些数据训练一个分类模型，或者评测一个业务问答模型，就需要继续完成一系列准备工作。
哪些字段是模型的输入？需要标注什么结果？类别怎样统一？有问题的样本如何排除？这次训练究竟使用了哪个版本的数据？
这次新增的高质量数据集模块，就是把这些工作组织到平台中，提供四个业务入口：
数据集管理 → 数据标注 → 标注检验 → 数据导出。
四个页面围绕同一份数据集衔接工作，处理进度、样本数量和版本信息随流程呈现。
| 页面 | 解决的问题 |
|---|---|
| 数据集管理 | 数据从哪里来、用于什么任务、哪些字段作为输入、如何生成样本 |
| 数据标注 | 如何填写标签、如何利用 AI 提效、如何批量处理样本 |
| 标注检验 | 标签是否合理、哪些需要修改、哪些样本不应纳入 |
| 数据导出 | 本次交付哪个版本、包含哪些样本、以什么格式提供 |
选择数仓来源 → 配置字段与标签 → 生成样本 → AI / 人工标注 → 检验 → 发布版本 → 打包导出
1. 数据集管理：把来源、规则和进度管理起来
数据集管理是整个流程的起点。在列表中，可以按名称、模态、任务和发布状态查询数据集，查看处理进度、最新版本、来源表数量及通过样本数。
选中数据集后，下方详情展示该数据集的流程、样本统计、来源生成情况、版本和最近任务。列表负责查找和管理，详情负责跟进当前数据集的处理过程。 对需要反复切换数据集的操作人员来说，信息边界更加清楚。
登记数据集时，可以维护名称、编码、用途说明、来源详情和授权类型等信息，再从当前项目数仓中选择来源表，配置字段角色与标签。
以"工单分类"为例：假设数仓中已经有一张工单表，其中包含工单编号、标题、正文、渠道和时间等字段。我们希望根据标题、正文，把工单分为咨询、投诉、报修、建议、表扬五类。
配置时可以这样理解：
- 样本标识：用来识别每条工单，关联已有标注，要求稳定、非空且在纳入范围内唯一。
- 特征：提供给模型的输入内容，这里选择工单标题和正文。
- 人工标签：最终希望得到的结果，这里将标签名称设为"工单类型"，并维护五个可选类别。
- 说明、忽略等角色：区分其他字段的用途，避免把所有业务字段都当作模型输入。
如果来源已经包含候选答案，可以配置"标签初稿"列带入结果，供人工确认；如果有既定的训练、验证或测试划分，也可以通过"划分"角色读取。不同字段分别承担输入、候选结果和辅助信息的职责，方便后续按任务要求组织样本。
自动读取不到主键信息时，可以手动选择符合要求的唯一标识列；这不会改变来源表的主键。同一张来源表也可以服务于不同数据集，用于不同任务和标注口径。
"工单类型"可以直接作为独立的标注结果名称，不需要来源表中提前存在同名字段。类别也支持逐个添加和查看，方便业务人员检查分类口径。
对敏感特征，可以结合"数据安全"模块中已启用的脱敏规则进行处理，并在生成前查看脱敏样例。这些操作用于准备数据集样本，不会回写修改数仓来源表。
确认配置后，设置样本纳入数量，提交生成任务。生成结果按来源表展示；失败时保留最近一次成功的样本批次，便于查看具体原因、修正配置后再重试。
2. 数据标注：AI 先给初稿，人工集中确认
样本生成后，进入数据标注页面。操作人员可以选择数据集和来源表，在待标注、已打回、已排除等状态之间切换，查看输入内容并填写标签。较长文本可以展开核对完整内容。
如果有几百条、几千条工单，完全从头手工选择类别，工作量依然很大。因此，这次也接入了 AI 预标注。
选择样本后，可以让 AI 根据数据集用途、任务类型、可选类别和补充说明生成标签初稿。系统按照配置的字段角色组织输入，提供给 AI 的业务内容来自特征字段。
为了控制单次请求大小，默认每次调用的输入字符预算为 5000 字符，包含系统提示词、业务规则和样本内容，也可以通过配置调整。样本较多时，系统会按字符预算分批处理。
AI 输出会作为初稿回填，仍需人工核对后提交检验。
对于无法可靠判断的样本，可以保留为未判定，再交给人工处理。这样，标注人员可以把更多精力放在核对结果、识别边界情况和修正错误上。
聊天、指标、BI、数据集标注等业务的提示词，也统一整理到了各自的 YAML 配置文件中，便于后续按业务维护与调整。
业务规则可以写得更具体。 例如，同样出现"投诉"二字，"询问投诉渠道"和"要求调查服务问题"可能属于不同类别；这类边界可以在补充标注说明中明确，帮助 AI 按任务口径判断。
人工操作同样围绕批量处理做了补充：
- 逐条填写，一次提交：同页中的样本可以分别选择不同标签，全部检查后统一提交，不必每填写一条就等待一次接口返回。
- 勾选多条，统一填入：属于同一类别的样本可以统一填入，核对后再提交；"填入"与"提交检验"保持明确区分。
- 无效样本，批量排除：集中处理信息不足、输入无效或与当前任务无关的样本，并填写排除原因。
页面还增加了标签填写情况筛选，便于找出尚未填写初稿的样本，继续人工处理或进行 AI 预标注。
翻页时会暂存页面内的未提交编辑，刷新或离开页面前仍需完成提交。没有可用 AI 服务时，也可以继续完成人工标注流程。
3. 标注检验：让标签经过核对再进入交付版本
提交标注后，样本进入标注检验页面。检验人员结合输入内容和人工标签，可以执行三类操作：
- 通过：确认结果符合当前任务与标注口径。
- 打回：交回标注环节修改，修改后重新提交。
- 排除：对无效、信息不足或不适合当前任务的样本说明原因。
上述操作支持单条处理，也支持勾选后批量处理。样本状态及处理原因随流程记录，发现问题后有明确的返回路径，准备发布时也能区分已经通过、仍待处理和已排除的样本。
AI 初稿、人工提交和检验通过之间保持清楚的状态区分，发布样本范围由实际检验结果决定。 团队可以按约定的质量要求，落实标注与核查工作。
4. 数据导出：按版本交付，保留实验使用依据
样本完成处理后，通过发布检查，生成独立的数据集版本，再选择对应版本打包导出。
目前提供两种格式：
- JSONL：保留较完整的数据结构，方便后续训练、评测程序处理。
- CSV：便于使用表格工具查看和人工核查。
导出内容以所选发布版本中的已通过样本为准，排除样本不进入正常样本交付。发布版本保留独立快照，后续草稿调整或重新生成不会直接改变已经发布的数据。
这样，在训练或评测时可以明确记录：本次使用的是哪个版本，而不是一份不断变化的临时文件。历史版本可在版本选择项中选取，便于按实验需要获取对应数据。
导出记录展示文件名、格式、样本数、状态和失败原因，完成后即可下载。已结束的记录支持删除与清理，方便维护日常交付记录。
这里也需要说明：当前模块承担的是训练、评测之前的数据准备和交付工作。接入具体训练框架时，仍需按目标模型的输入格式和训练要求进行对接。
二、后台任务增加执行记录，关闭页面也能继续追踪
样本生成、AI 预标注、版本发布、文件导出都可能需要一定时间。如果页面只提示"提交成功"，用户很难判断后台究竟执行到哪一步。
这次增加了统一的执行记录入口，将样本生成、AI 预标注、发布和导出集中追踪。可以按任务类型、状态查询，查看执行阶段、处理数量、批次数、提交及更新时间，以及具体失败原因。
页面通过服务端事件推送接收状态变化，任务记录保存在服务端。一次调用较多样本的 AI 任务，也能查看已完成批次、初稿数量和未判定数量，便于安排后续人工处理。
关闭页面不会中止后台任务，重新进入后仍然可以查看执行结果。
需要注意的是，关闭浏览器和后台服务重启是两种情况。后台服务重启导致中断的任务会标记为失败，需要手动重试。已结束的执行记录支持删除和批量删除，方便清理历史记录。
这次用于验证流程的合成工单测试集中，共有 60 条候选样本。一次 AI 预标注任务分为两批，生成了 57 条初稿，另有 3 条未判定；后续人工处理完成后，发布版本中包含 57 条通过样本，排除 3 条样本，并完成了 JSONL 导出。
这些数字用于展示执行过程和数据状态，不能直接当作 AI 分类准确率。模型是否适合实际业务，还需要使用独立参考答案和评测方法进行验证。
三、配套专题说明与测试用例，方便体验完整流程
为了便于体验和验收，版本资料中新增了"专题使用指南"，提供高质量数据集的详细说明、页面参数填写方法，以及工单分类测试用例。
测试资料包含建表 SQL、60 条合成工单、执行脚本和逐条参考答案。除了五类常规诉求，还覆盖容易混淆的业务边界：
- 询问"投诉渠道"，主要诉求仍是咨询。
- 用"建议"开头请求修复当前故障，需要结合具体内容判断。
- 过去的问题已经解决，本次表达感谢，应按当前诉求分类。
- 信息不足、只有问候或与任务无关的内容，交给人工判断是否排除。
- 正文夹杂伪造指令时，将其作为待分类文本，不应改变既定规则。
可以跟着用例跑通"准备---标注---检验---发布---导出"，也可以验证批量处理、打回重提、任务追踪和同一来源表复用。对实施人员和初次接触标注流程的业务人员来说，每个页面的职责和处理顺序更容易理解。
四、UI 全面调整优化，统一工作台与业务页面体验
随着平台模块逐渐增多，界面也需要同步整理。这次从导航布局、首页入口到常用业务页面，做了一轮集中的调整。
导航与首页：更方便进入日常工作
新增经典导航布局，通过顶部模块导航、左侧业务菜单和多标签页组织页面。
首页调整为项目工作台，展示当前项目和模块入口。数据集成、可视化 ETL、数据开发、数据治理、数据资产、高质量数据集等功能，可以从首页快速进入。
同时，修复了部分页面跳转产生重复标签页的问题，让菜单入口与流程节点跳转保持一致。高质量数据集四个页面也补齐了标签缓存，切换页面后可以继续保留页面中的选择、筛选和分页状态，减少重复定位。
常用页面：统一标题、表单、卡片与操作区域
这次集中调整的页面包括资产目录、资产查阅、数据表、主数据模型、即席查询、数据权限，以及新增的数据集相关页面。
调整重点包括：统一标题和分隔线，减少大面积色块与渐变；整理查询条件、按钮和表格间距；优化卡片的信息排列；修复容器高度异常、内容显示不完整、按钮换行等问题。
例如，资产查阅保留了左侧目录、右侧资产卡片的展示方式，但重新整理了名称、操作按钮和属性信息的对齐关系。数据权限页则调整了顶部说明、保存按钮和三栏配置区，减少固定宽度造成的挤压。
数据集选择下拉框也加入了搜索和分页，避免数据集较多时一次性加载全部选项。
从目录浏览、条件查询到样本操作，页面按功能用途组织信息，让用户更容易找到当前状态和下一步动作。功能逐渐增多的同时，操作习惯也保持统一。
暗黑模式：补齐画布与编辑区域的适配
本轮更新完善了暗黑模式，重点处理了普通表单之外的复杂区域：可视化 ETL 画布、调度流程画布、数据血缘图，以及节点、连线、工具栏、缩放文字等细节。
同时修复了血缘图在切换主题时位置偏移的问题。数据生产中的代码编辑区域采用深色编辑器主题，并调整了编辑区、参数区和底部日志、结果区域的布局。
这些调整希望让长时间使用开发工作台、查看流程和排查任务时，界面更加连贯、清晰。
五、开发与治理同步完善，补数更灵活，异常更容易定位
除了数据集和 UI，本轮还补充了一些日常开发中比较实用的改进。
可视化 ETL 增加业务时间采集能力。 读取节点可以按业务时间范围取数，手动运行时可以指定历史时间窗口；写入节点支持按业务时间段删除后写入，方便处理某一天或某个时间段的数据重算与补数任务。Hive 不支持当前的时间段删除覆盖方式。
完善流程参数与系统时间变量。 参数可以在节点文本配置中使用，本次运行的参数值也会随运行记录保存，方便追查。
调整整表覆盖的执行时机。 读取到首批可写数据后再清空目标表；没有读取到可写数据时，保留目标表原有数据。这一保护机制与按时间段覆盖分别处理。
加强数据质量与同步校验。 修复质量检测字段匹配问题，配置无法匹配时明确记录异常；普通 JDBC SQL 交由目标数据库在执行阶段校验，减少数据库专用语法被通用解析器误判的情况；同时补充 Hive 同步方式校验，降低重复追加数据的风险。
完善异常提示。 样本生成和 AI 调用失败时补充更具体的原因与日志；主数据取消发布时，物理表已经不存在的情况不再阻断取消操作。
结语
本次版本已同步更新前后端源码、前端部署资源，以及使用手册、功能清单、产品介绍和开发部署说明。专题使用指南集中提供高质量数据集的详细操作与测试用例，以及 ETL 节点开发说明。
对于已有数仓和数据治理基础的团队，可以从工单分类、文本抽取等具体任务开始，将业务数据逐步整理为有明确输入、标签、检验结果和版本记录的 AI 数据集，再结合具体模型要求完成训练或评测对接。