面向智能代理 AI 治理的应用感知三巨头
创新是一回事， 治理则是另一回事。 多项研究数据显示，尽管治理存在明显短板，企业采用生成式人工智能的脚步依然迅猛无阻，让人不得不警惕。
根据普华永道2025年5月的人工智能代理调查，79%的公司已经采用了人工智能，只有2%的公司完全不考虑使用智能代理。 无论这些代理是否具备真正的智能特性——比如制定工作计划、执行多步骤操作、评估结果并自我调整——还是仅作为聊天机器人将单次请求传递给选定的大型语言模型（LLM），采用率都已非常高，且几乎所有公司都计划在未来一年增加人工智能投入。
根据我们的研究——利用人工智能就绪指数衡量组织成功扩展、保护和维护人工智能系统的运营能力——只有 2% 的组织真正具备应对人工智能系统设计、部署和运营挑战的高度准备。
尽管如此，IT 和安全团队别无选择。根据安永研究显示，绝大多数企业领导者认为今年必须采用代理式 AI，才能在明年此时超越竞争对手。 那些愿意放慢脚步，认真弥补安全与治理漏洞的组织，到 2026 年会比忽视这些问题的企业更加稳健且抗风险能力更强。 以下三种实践构成了降低生成式和代理式 AI 风险的关键支柱：
1. 保护您的部署模型
新兴技术需要保障安全，每种形式的生成式人工智能核心都依赖一个或多个大型语言模型。 仅靠模型开发者不断提升准确度、减少幻觉和防止越狱远远不够。 企业必须投入提示与模型服务，能够独立识别并阻止不良行为。 此外，每家使用大型语言模型的企业实际上都在使用多个，必须对推理 API 调用隐藏应用，以满足应用对可用性、路由、扩展和成本控制的需求。
2. 保护数据安全
企业数据暴露给模型时，对业务来说可能是新数据，也可能不是。 关键在于必须保障其安全，保障方式不仅仅是保护数据存储位置或网络传输中的加密。 任何形式存在于企业私有环境中的数据，即便是经批准第三方服务或实体使用，也必须被监测并加以保护。 不要误解了重点。 关键不在于数据来源。 关键在于数据是否被泄露出去。
3. 保护您的代理安全
代理改变游戏，因为它们依靠大型语言模型（LLM）决定采取哪些行动来实现它们自主设定的最终目标。 它们必须获得执行操作、访问资源以及创建、修改和删除信息的权限。 需要有外部系统紧密监控并控制代理，以便有效观察与评估其行为。 目前涌现出两种值得关注的主要方法，随着未来几个月的发展将趋于成熟：护栏框架（如MCP-Universe）和“LLM作为裁判”框架（如Microsoft LLM-as-a-Judge Framework）。
前者通过非常具体的基于任务的操作，定义基本事实，将代理发起的行动结果与由明确指令软件预先获取的独立操作进行比较。 它的优势在于不断扩展的示例代码库，可以利用预选且可靠的来源，检验诸如天气或历史事实等多种信息。 系统收集信息后，将结果作为基准事实，与部署代理所得结果进行对比。
后者采用不同的 LLM，甚至多个 LLM，来分析部署代理的行为，并评估其结果在业务中的质量和适用性。 两者都极具潜力，正快速成熟，并且完全由您掌控。 更重要的是，如有必要，您可以通过人机协作机制加强两者的控制。
模型、数据与代理这三大控制措施紧密结合，堵住了网络安全和治理的漏洞，防止您的企业因生成式人工智能和自主系统而面临新兴风险。
想了解如何将这些类型的控件作为独立基础设施服务采用，请阅读F5关于CalypsoAI的最新公告，CalypsoAI在AI应用和代理的防御、红队及治理解决方案领域一直走在前沿。