AI时代，传统可观测性已死！监控GenAI响应、数据质量、用户互动成关键。高级AI可观测性系统，实时检测毒性、幻觉，保障合规，应对欧盟AI法案等挑战。AI评估引擎、用户交互监控不可少！拥抱AI-Native的可观测性，才能决胜云原生未来！
译自：Why AI Demands a New Approach to Observability
作者：Ariel Assaraf
AI 正在以我们几年前无法想象的方式改变着各行各业，从自动化客户服务到简化供应链管理。但是，随着这些令人兴奋的进步，新的挑战也随之而来。随着 AI 系统变得越来越融入日常业务运营，监控其性能、行为和决策过程的需求也变得空前重要。
根据美国国家标准与技术研究院 (NIST)的数据，AI 应用程序需要严格的监督，因为管理不当可能导致无法预见或不公平的结果。不幸的是，现有的可观测性解决方案存在不足，因为它们只关注性能，而不是 AI 独有的其他属性。
本文阐述了可观测性，定义了它是什么，为什么它对于管理 AI 系统至关重要，以及为什么传统方法不足。
那么，到底什么是可观测性？
可观测性平台帮助公司监控、分析和理解其系统的性能和健康状况，包括日志、指标和追踪。传统的监控系统跟踪服务器状态等基本指标或网络延迟。它们是传统网络监控解决方案的演变，但具有更广泛的范围和更高级的功能。这些平台通过使团队能够回答诸如"是什么导致了这些性能问题？"或"为什么会发生这种行为？"之类的问题，从而进一步扩展了监控。它提供了对系统健康状况和性能的更深入、可操作的见解，帮助团队在问题影响用户之前解决问题。
可观测性为企业提供了几个关键优势，例如加速问题解决和减少停机时间。它还可以帮助企业优化资源，在故障发生之前预测故障，并将系统健康状况与关键业务指标对齐。最终，可观测性是关于做出更智能、更快速的决策，以保持一切顺利运行。
为什么传统的可观测性工具不适用于 AI
AI 系统引入了一系列新的变量，需要仔细监控，尤其是在与 AI 模型实时与用户交互时。
传统的可观测性系统旨在跟踪预定义的指标，如 CPU 使用率，而不是捕获 GenAI 响应不准确或减轻恶意用户输入。这就是高级 AI 可观测性介入的地方，它提供了一种有效管理这些系统的方式，并确保它们按预期执行，重要的是，以合乎道德和安全的方式执行。
让我们更深入地了解 AI 系统的独特需求：
- AI"灰色地带"：AI 为性能监控带来了独特的灰色地带。AI 系统可能看起来运行正常（例如，用户输入提示，AI 回答），但响应可疑。例如，如果一家公司的聊天机器人推广竞争对手的产品而不是自己的产品，则性能良好，但响应的内容存在问题。
- 数据质量监控和安全性：至关重要的是，要确保 AI 不会泄露敏感信息，例如客户 PII、机密的业务数据或关于 AI 系统本身的专有信息------尤其是在不良行为者可能试图诱骗它这样做的情况下。
- 用户互动：对 AI 有效性的真正衡量不仅需要深入了解系统的性能，还需要深入了解用户互动。虽然响应时间和准确性等指标很重要，但它们并不能提供完整的画面。关于 AI 对用户查询的响应的反馈至关重要，以便企业知道 AI 是否按预期响应并满足客户的需求。
- AI 输出问题：必须持续监控 AI 输出的毒性（即有害或冒犯性内容，如仇恨言论或带有偏见的语言）和幻觉，即模型生成误导性或虚假信息。如果没有适当的监督，这些问题可能会破坏用户信任，传播错误信息，并导致意想不到的后果。
- 合规性 ：AI 系统必须遵守严格且不断发展的法规和合规性标准，这些标准很难跟上。其中包括欧盟人工智能法案、加州消费者隐私法案和其他几项法案。
为什么高级 AI 可观测性系统至关重要
专门为 AI 系统量身定制的可观测性工具通过以下功能解决这些独特的风险：
- 全面的用户交互监控 ： 提供对用户交互的完全可见性，包括对话历史记录、登录和令牌使用（即 AI 模型消耗的数据单元）。这种精细的跟踪有助于团队识别可疑的资源消耗、检测成本收割尝试（即查询垃圾邮件以提高 AI 系统的运营成本），并在不影响性能的情况下优化预算。
- 实时问题检测和解决： 识别诸如响应准确性差、延迟峰值和恶意用户输入等问题。这使团队能够在表现不佳的 AI 代理对用户体验产生负面影响之前解决它们。
- AI 评估引擎 ： 包括质量和安全评估器，以及根据特定需求进行定制的能力。质量评估器分析用户和 AI 交互，以检测潜在问题，例如毒性和 AI 幻觉。同时，安全评估器持续监控潜在风险，从而能够及早识别并帮助保护 AI 系统免受恶意行为者的侵害。
- 合规性和法规遵从性： 帮助企业掌握有关 AI 准确性、可靠性和合乎道德的使用方面不断发展的监管要求，同时减轻法律和声誉风险。
AI 可观测性的未来
随着 AI 系统变得越来越复杂，传统可观测性工具的局限性变得越来越明显。标准的可观测性解决方案仅关注性能，并非针对 AI 的独特挑战而设计，因此它们难以有效地跟踪和管理 AI 行为的细微差别。
幸运的是，新兴的可观测性平台正在被设计用来解决 AI 解决方案带来的独特挑战，从而更深入地了解用户交互和风险，例如毒性、幻觉和安全漏洞。
我们预计很快会看到的一个令人兴奋的进展是将代理 AI 集成到可观测性流程中。这将是一个改变游戏规则的举措，代理能够以最少的人工协助来诊断和解决问题。
对于旨在保持竞争力的组织而言，AI 可观测性必须是其战略的核心组成部分。通过专注于 AI 特定的指标，企业可以确保无缝且高质量的 AI 环境，充分利用该技术的潜力，并实现积极、切实的业务成果。