
密度聚类输出一个 -1,有些日志管道就把这批记录当噪声丢弃。可在运维里,一个从未出现过的新错误,恰恰可能因为没有同伴而落到 noise 类。算法中的离群,不等于业务上的无关。
聚类标签不承担事故分级
HDBSCAN、DBSCAN 或向量近邻都可以帮助归并重复表达。选择前要先验证嵌入模型、文本预处理和距离度量是否适合日志;动态 ID 可能让同类日志分散,过度去变量又可能把不同错误合并。
2026年10月22日的 Collector 遥测过滤讨论提供了一个值得保留的思路:把原始证据路径与面向分析的精简路径分开。本文采用的是这个职责划分,不借用厂商单次实验的压缩数字。

用程序保证"没分到组"仍然可查
以下例子不运行聚类模型,而是测试聚类结果的路由。通知规则使用显式级别,和聚类标签保持独立;现实中还需要业务影响与已有事件的上下文。
python
logs = [
{'id': 'a', 'cluster': 0, 'severity': 'info'},
{'id': 'b', 'cluster': 0, 'severity': 'error'},
{'id': 'c', 'cluster': -1, 'severity': 'error'},
{'id': 'd', 'cluster': -1, 'severity': 'debug'},
]
def route(rows):
archive = {row['id']: dict(row) for row in rows}
if len(archive) != len(rows):
raise ValueError('duplicate log id')
notify = [row['id'] for row in rows if row['severity'] == 'error']
return archive, notify
archive, notifications = route(logs)
assert set(archive) == {'a', 'b', 'c', 'd'}
assert notifications == ['b', 'c']
assert archive['d']['cluster'] == -1
print({'archived': len(archive), 'notify': notifications})
这证明的是本例路由不会丢掉 -1,并不证明存储系统永不丢数。生产还需检查队列积压、重试、重复写入、保留期与访问权限。含秘密的原始日志也不能不经处理就无限期保留。
回放时专门寻找新错误
评测集合中应包含低频但重要的事件、版本切换后新模板、采集字段变化和跨租户同文错误。除了查看簇内一致性,还要看工程师能否从代表日志展开到原记录,能否拆开错误合并,能否找到没有进入任何簇的记录。
若需要减少通知,先在影子模式比较新旧通知集合,确认漏掉的具体事件,再缩小上线范围。不要用"日志减少90%"代替漏报检查。
本文只验证了离线路由与唯一 ID 约束,未运行嵌入、HDBSCAN、Collector 或日志存储。聚类可以让阅读更省力,证据是否保留与事故是否通知,仍然需要各自明确的规则。