在使用 Loki 配置警报时,若要在警报注释中添加原始日志内容,当前最佳实践是避免在警报通知中直接嵌入完整的日志行。这是因为 Loki 警报操作基于从日志派生的时间序列数据,而不是原始的日志行本身。在警报标签或注释中包含高度动态的日志内容可能导致高基数问题,从而产生大量唯一的警报并引发潜在的性能问题。
相反,推荐的方法是:
- 使用
summary
或description
等注释来清晰地解释告警,并在需要时包含一个预填充 LogQL 查询的 Grafana Explore 链接。这允许响应者快速访问相关的日志行,而无需将它们直接嵌入告警消息中。 - 如果你必须包含日志内容,可以使用 Promtail 管道从日志中提取特定字段作为标签,但你应该非常小心以避免高基数数据。
以下是该指南的总结:
...创建你的告警,写好摘要,写好描述,然后链接到 Grafana Explore 中的 LogQL 查询,在那里你可以查看日志。如果你真的、真的有必要,可以尝试将日志行的部分内容提取为标签,但你必须非常小心处理高度动态的数据,因为最终你会得到数百或数千个告警... 今天我建议尽量避免将日志行放入告警中,原因就在于此。
目前,还没有内置的、安全的方法可以自动将完整的原始日志内容包含在 Loki 告警的注释中。推荐的工作流程是提供上下文并链接到相关日志,而不是嵌入日志本身。这种方法既可扩展又用户友好。
三人行, 必有我师; 知识共享, 天下为公. 本文由东风微鸣技术博客 EWhisper.cn 编写.