AI代理时代的可观测性

AI代理已然到来，它们不只是调用API或推送内容。 它们在思考。 它们在做决策。 它们在规划和分配任务。 而且它们在你的基础设施、服务和流量管理体系中协同运作。

问题何在？ 你大多数系统根本不了解自己在做什么。

传统的可观测性是为跟踪服务而设计的。 就是那些真实存在的内容：请求、响应、延迟、路径。 它虽能确认请求发生，但无法解释原因。 而如今，你的流量可能来自代理中一个递归推理循环，日志里却只显示一个带有效负载并返回200的POST请求。

这不是可观测性。 这是不透明。

如果您打算安全地将人工智能代理投入生产环境，流量管理系统将成为您战略中不可或缺的一环。  

但首先，您需要让可观察性跟上步伐。 这从弥合三个关键差距开始。

代理不仅仅是响应。 它们做出决策。 它们进行评估。 它们会延后、重新路由、升级或调用工具。 如果你只记录 HTTP 层，你就忽略了真正关键的信息——事情发生的原因。

您需要结构化日志，详细记录代理的意图、采取的行动、评估的备选方案以及最终结果。 您需要决策路径。 不仅仅是状态码。

应采取的行动：

• 扩展日志格式以包含意图、采取的行动、置信度分数和策略约束等语义字段。
• 按发起代理标记决策，并贯穿所有工具调用实现全程追踪。

来自 AI 代理的两个发送到同一端点的 POST 请求可能代表截然不同的含义。 一个可能是事实核查请求，另一个则是内容生成的触发。 路径虽相同，但目的、环境和风险各不相同。

这意味着语义标签必须在请求路由和可观察性中占据核心地位。

应采取的行动：

• 利用内联检测（有效负载或标头）提取诸如汇总、身份验证或生成等意图标签。
• 将这些标签用于请求路由、速率限制和身份验证决策。 不要一刀切地处理所有 POST 请求。

代理并非无状态的客户端。 它们会进化。 它们会重新尝试。 它们会停顿。 它们会适应。 因此，可观察性系统需要超越单次请求跟踪，开始构建行为画像。

你应该了解代理的“正常”情况：它会重试多少次，使用哪些工具，任务通常执行多长时间。 当情况发生变化时？ 你也需要及时掌握。

应采取的行动：

• 实时跟踪每个代理身份的关键指标：重试次数、任务深度及工具使用情况。
• 对环路、延迟漂移及工具抖动发出异常警报。