SLS 数据语义:自动提取业务知识,让日志分析更精准

作者:戴志勇

OSS 出现批量删除,涉及哪些对象,调用来自哪里?WAF 攻击规则命中增多,哪些请求被拦住,哪些需要继续调查?GMV 下降,用户卡在了哪个业务环节?面对这些日常问题,即使日志已经接入、查询工具已经就绪,要得到准确答案,仍需要理解数据背后的业务含义:该查哪种日志,如何关联同一次操作的记录,以及状态和指标应该怎样解释。

接手一个新项目时,这些问题往往要找熟悉业务的同事确认。相关知识已经写在产品文档、仪表盘、告警规则和查询里,只是分散在不同地方。AI 助手分析数据时,也需要这些上下文。

阿里云日志服务 SLS 数据语义支持一键提取语义信息,将已有数据和查询中的字段含义、业务术语、指标口径及分析规则,整理为 Agent 可用的业务上下文。生成查询语句时,Agent 可以据此选择合适的数据源和字段,使用必要的过滤条件,并沿用已确认的计算口径,减少字段误用、条件遗漏和计算偏差,提升查询语句的质量与准确性。

从已有数据和查询中,自动提取业务知识

仪表盘、告警规则和日常 SQL 中,已经包含了团队对成功状态、指标公式和日志关联的判断。SLS 数据语义结合这些查询、字段索引和真实日志样本,将分散的判断整理成可复用的业务定义。

这些知识经过来源核对和必要的查询验证,可以供 Agent 在后续分析中复用。例如,再次分析成功率时,Agent 可以沿用已有的成功条件和分母定义,用户不必在每次提问时重新解释业务口径。

▍从已有查询中寻找线索

系统先分析仪表盘、告警、定时 SQL 和历史查询引用了哪些字段,优先为常用字段采集样本。一条日志同时包含多个字段时,可以一次补充多个字段的上下文;尚未覆盖的字段,再定向查找相关记录。

字段的索引类型、查询用法和实际取值,会帮助系统区分枚举与自由文本。例如,同样是字符串,状态码需要解释各个取值,消息正文则需要看它记录了什么。重复查询会去重,来源信息仍保留,后续解释可以回到原查询核对。

▍还原 SQL 中的业务口径

业务口径经常藏在多层查询中。系统沿子查询、公共表表达式(CTE)和计算别名追踪依赖,将能确认的表达式还原到原始字段;大模型再结合图表标题和日志上下文,解释这些计算的业务含义。解析时还要分清条件作用在哪一步:先筛选请求、只统计其中的成功请求,以及汇总后再挑出异常分组,会改变不同范围的数据。

以下面的"匿名成功访问占比"为例,外层查询使用 is_anon 判断匿名身份,具体条件却定义在内层。提取时需要追踪这一依赖,同时保留成功条件、分母范围和百分比倍率。

这条查询回答的是"全部访问中,匿名且成功的请求占多少"。如果把匿名条件加到整个查询的筛选范围里,分母就缩成了匿名请求,计算的会变成"匿名请求中的成功率"。两条 SQL 都可能执行成功,回答的却是不同的问题。

▍分别提取四类知识,再统一校验

字段、术语、指标和总览各有不同的提取任务,系统支持多个 Agent 分工处理。各任务直接读取原始材料,完成后再统一复核。这样安排有一个明确的目的:减少早期误判在后续任务中被反复引用。 例如,字段任务如果误解了一个耗时字段,指标任务不能把这份解释直接当成事实,仍要检查来源计算和样本。

语义类型 重点提炼的业务知识
字段 记录的业务对象、身份、阶段、单位和枚举含义,以及来源中实际使用的 JSON 子属性。
术语 从检索条件、过滤表达式和条件分支中恢复业务分类,保留完整的识别范围。
指标 从合计、差值、比率等计算中恢复统计对象、公式和适用范围,区分请求数占比与业务量占比。
总览 沉淀数据用途、事件检索入口、解析方法、关联条件和多阶段取数规则。

▍有疑点,就查数据验证

材料未必能回答所有问题:两个 ID 是否指向同一对象、解析能否取到值、关联是否重复,都可能需要查数据确认。Agent 会针对这些疑点设计只读查询,在授权范围内验证,不修改业务数据。

以关联重复为例,假设已有查询按 request_id 关联请求的开始和完成记录。每个请求是否只有一条完成记录,会直接影响统计结果。下面是一个验证过程的示意,字段名为示例,查询在选定的时间窗口内执行:

sql 复制代码
event:finish AND request_id:* |
SELECT request_id, count(*) AS finish_records
FROM log
GROUP BY request_id
HAVING count(*) > 1
LIMIT 20

如果结果中某个请求对应两条完成记录,就不能继续把这种关联解释为一对一。提取出的规则需要说明重复情况,并保留"关联前先确定完成记录的归并方式"这一要求;具体采用哪条记录,还要回到来源或继续验证。

程序还会把生成的指标与来源计算逐项核对,包括公式、完整取数范围、常量、运算顺序和空值处理。Agent 则检查四类知识对业务对象、时间和单位的解释是否一致。发现冲突时,回到来源修正相关定义。

▍留下复杂查询中的分析方法

有些知识需要用步骤表达:先从哪类记录找到事件,怎样从消息中提取关联键,再按什么顺序计算。这些方法会写入总览。例如,一条来源查询先按请求合并多个阶段,再计算整体指标,总览需要保留分组粒度和计算顺序。后续 Agent 改变时间范围或分析维度时,仍能沿用这个方法。

从业务问题出发,让数据语义参与分析

下面用三个演示场景,展示数据语义如何影响分析过程与判断。场景中的业务设定、对象、时段和查询结果均为示意。

▍OSS 批量删除追溯:8 次调用,涉及多少对象?

凌晨,一批业务报表无法访问。值班人员发现某个 AK 在相关时段发起了批量删除,希望确认是否涉及重要数据,并追踪调用来源。

提问示例:检查昨晚 21:00---21:10,这个 AK 在目标 Bucket 的批量删除是否涉及 reports/2025/ 前缀,列出相关对象和请求身份。

直接按 AK 和对象前缀查询访问日志,可能漏掉整个批次:DeleteObjects 的访问记录中,object 为占位值 -,具体对象保存在 oss_batch_delete_log 中。

数据语义提供了跨日志取数规则:Agent 先按账号、Bucket、时间和 AK 筛选访问请求,再结合资源上下文和 request_id 关联对象明细,最后筛选对象前缀。身份条件与对象条件分别作用于对应记录。完成重复记录核对后,得到以下示意结果:

统计项 示意结果 含义
批量删除调用 8 次 指定 AK 在目标范围内的调用
目标前缀对象明细 900 条 已关联明细中命中前缀的记录
不同对象 Key 860 个 上述明细涉及的独立目标

本例中,部分对象被不同请求多次操作,因此 900 条明细涉及 860 个不同 Key。关联后的行数也不能当作调用次数;三种数量需要分别统计。

其中 7 次调用找到了对象明细,另 1 次暂缺明细,仍需补查,当前清单的完整性尚待确认。检查明细覆盖时,也要区分"未命中目标前缀"和"没有对象明细"。

Agent 据此输出对象清单,附上请求时间、请求标识、AK、请求者和来源线索。对象是否已永久删除,还需核对对象级结果和版本信息,不能只看请求是否成功。

在这个案例中,语义信息直接决定条件放在哪里、日志怎样关联、结果按什么粒度统计,帮助 Agent 生成能够准确追溯目标对象和调用身份的查询。

▍WAF 安全调查:日志里有 block,就代表拦住了吗?

夜间,某业务站点的规则命中量突然上升。值班人员快速查看日志,发现不少 block,同时又看到一些 HTTP 200。哪些请求真的被拦住了,哪些还需要交给应用团队核查?

"分析昨晚的可疑请求,说明实际处置情况,列出需要优先跟进的请求。"

判断这批请求,要同时看模块动作、运行模式和最终处置。当 acl_test=true 时,ACL 模块处于观察模式,即使 acl_action=block,也不能据此判定请求已经被阻断。

如果只按 acl_action=block 汇总,观察模式命中的请求也可能被算成"已拦截",后续调查就容易漏掉仍需核实的请求。

假设三条请求都包含上述两个字段,继续查看上下文,结论却不同:

示意请求 进一步查看的证据 对调查的意义
请求 A 其他防护模块的最终动作:final_action=block 请求最终被阻断,可以记录对应的最终防护模块与规则。
请求 B final_action=js,status=200 进入 JavaScript 挑战;这个 200 不能直接解释为应用执行成功。
请求 C 未记录最终防护动作,upstream_status=200 已有源站响应,应保留该可疑请求的线索,继续核查应用侧处理。

数据语义中保留的字段关系,让 Agent 能按这些证据分别解释请求。尤其是客户端收到 200 和源站返回 200,不能混成同一个判断。

当值班人员继续问"优先查哪些接口"时,Agent 可以聚焦需要跟进的请求,按接口和时间整理线索,并保留请求标识,形成便于交接的调查清单:

结果示意: 优先核查 02:10---02:20 访问 /api/order 的可疑请求。其中存在 ACL 观察规则命中且收到源站响应的记录,请结合对应时间和请求标识检查应用日志,确认实际业务处理情况。攻击是否利用成功,仍需应用侧证据判断。

▍江浙沪净 GMV 少了 30 万,用户卡在了哪一步?

运营发现,昨晚江浙沪净 GMV 为 85 万元,低于同活动、同渠道可比时段的 115 万元,而投放量没有明显变化,于是询问 Agent:"是买的人少了、退款多了,还是用户下不了单?"

Agent 先读取团队已有的净 GMV 语义:成功支付按流水去重,合并支付按子单分摊,剔除运费并扣除成功退款,地区按收货地址归属。按一致的支付、退款口径和观察窗口重算后,确认退款基本持平,下降来自成交减少。

沿交易流程分析,在相同的转化观察窗口内,结算提交量没有明显变化,订单创建成功率却从约 94% 降到 70%;创建成功后的支付转化率和商品客单价基本稳定。异常集中在华东仓生鲜商品,业务日志频繁出现"库存校验超时"。

云产品语义进一步帮助 Agent 判断耗时发生在哪里。ALB 样本中,后端响应耗时是 4.6,响应写出耗时是 18。模型明确前者以秒计、后者以毫秒计,因此 Agent 优先调查后端,避免将更大的数字误判为网络传输瓶颈。

通过业务日志记录的 Trace 标识,Agent 找到调用链样本,按父子关系定位到库存数据库调用,避免重复累加嵌套耗时。随后依据业务模型中已确认的履约仓与数据库分片映射,查询对应 PolarDB 集群。模型帮助它区分慢查询与错误日志,并按 SQL 执行时间对齐业务窗口,发现库存查询的耗时和扫描量明显增长。研发随后核对执行计划,确认新查询没有使用预期索引;恢复原查询后,订单创建成功率也随之回升。

Agent 向运营交付了下降原因,以及去重后的受影响结算清单,区分已经补单成功和仍未完成的交易。观察到的 30 万元成交差额,也与后续补单后的最终流失分别呈现。

从一个熟悉的业务问题开始,让经验参与每一次判断

云产品日志和业务日志往往需要配合使用。云产品语义解释请求状态、调用关系和统计范围;业务语义说明这些记录对应哪个业务环节、指标如何计算、不同数据怎样关联。将两类知识按业务场景组织起来,可以为 Agent 选择数据源、生成查询和解释结果提供依据。

选择起步场景时,可以先挑一个团队反复遇到、且已有明确答案的问题:告警来了该怎么排查、用量为什么上涨、某个请求最终如何处置。为它接入日志、配好索引,SLS 自动提取数据语义;已有仪表盘、告警和历史查询提供业务口径的依据,已适配产品还可以直接复用产品知识。随后让 Agent 回答这个问题,再对照团队已有的分析结果------口径对得上,就是可用的起点。

配置周期维护后,系统可以结合新增字段和分析资产补充语义,并保留已采纳的业务口径。经确认的分析结果保存为仪表盘、告警或查询后,还可成为后续提取的来源,让团队积累的经验持续复用。

自动提取也不追求一次给出全部答案:证据充分的内容自动采纳,存在歧义的会标注具体未知,等待人工确认或新的证据,而不是用猜测填补。团队可以在控制台检查每条语义的来源依据,修正后继续参与分析。明确哪些解释还不确定,与得出准确结论同样重要。

回到前面的三个问题:批量删除涉及哪些对象,哪些可疑请求真的被拦住了,成交为什么下降。日志一直都在,缺的是把数据变成可信答案的业务上下文。数据语义把整理上下文的工作交给系统,让团队积累的经验,参与每一次查询与判断。

相关推荐
Eyfcom22 分钟前
〖物流云原生实战 04〗快递系统云原生可观测性:全链路追踪与业务指标监控落地
云原生·快递系统·物流云原生实战
正在走向自律1 小时前
Infra 现代研发基础设施实战:从 IaC、K8s 到平台工程与可观测性
云原生·容器·kubernetes·terraform·github actions·infra
分布式存储与RustFS1 小时前
Rivet 的 Agent 状态存进自建 RustFS:主桶配置与上线边界
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
瑞克-桑切斯1 天前
Kubernetes 1.28 保姆级新手学习教程
运维·学习·docker·云原生·容器·kubernetes
阿里云云原生1 天前
我们用 AI 给 AgentLoop 手搓了一套海底世界探秘游戏,并开源了
云原生·agent
阿里云云原生1 天前
LoongSuite Pilot × Qoder:一次配置,全员可审计
云原生
阿里云云原生1 天前
把主力模型用在刀刃上:一个月 300 亿 Token、31 万行 Rust 背后的 AI Coding 实践
云原生
对象存储与RustFS1 天前
对象锁遇上版本化:删掉的对象还在,真删的又删不掉
后端·docker·云原生
装不满的克莱因瓶1 天前
【AI时代必学】一篇文章教会你从零搭建Serverless架构
java·人工智能·ai·云原生·架构·serverless