AI智能体旨在自主完成任务，往往会找到操作人员可能未曾预料的目标实现方式。近期事件表明，智能体在执行任务时，可能会意外泄露关键数据或触发非预期的工作流。
这些事件不一定涉及恶意行为或遭到入侵的模型。当智能体为实现正当目标而运行，却缺乏充分的控制措施来约束其可访问、执行或共享的内容时，就可能产生风险。因此，即使没有攻击者介入，敏感数据也可能暴露给公众，甚至可能落入恶意行为者手中。
Two examples of this type of risk are explored in the F5 Labs《10月AI安全洞察报告》探讨了此类风险的两个实例。这份月度报告通过F5 Labs AI安全排行榜考察模型韧性，同时分析影响AI系统的新兴威胁、漏洞和安全事件。报告还探讨了新出现的AI安全威胁和事件，包括本月的两起案例：智能体在执行合法任务时，在没有外部攻击者介入的情况下暴露了敏感信息。这些事件表明，安全风险不仅可能源于模型漏洞，也可能源于智能体的行为及约束其行动的控制措施。
“10月的研究结果进一步印证了首席信息安全官需要重视的一项实践经验：模型韧性、智能体行为以及AI部署的相关管控措施需要一并评估。”
重视意外后果定律
近期发生的PixelLeak泄露事件就是其中一例，凸显了未实施适当安全控制时，自主智能体行为所带来的风险。AI编程智能体通常会被要求在拉取请求中附上开发人员修改前后的截图。但谁也没想到，它们竟然会将这些专有且可能包含敏感信息的图像发布到公开的GitHub仓库，以此完成任务。
智能体通过命令行界面（CLI）访问图像托管服务，而非人类使用的浏览器界面。由于无法通过命令行向私有拉取请求添加图像，智能体推断，为避免审核人员遇到失效链接，必须改为创建公共存储库。一些开发者还使用了gitshot，这是一款与创建公共存储库相关的开源截图发布工具。研究显示，约三分之一的受影响组织有开发者使用该工具。
超过13,000份内部截图和录屏在900多个GitHub公共仓库中暴露，影响了300多家组织。一周内，一家软件供应商的十几个智能体就已将这一变通方法编写为可复用的技能。更广泛的安全问题在于，智能体能够在企业常规监管之外，将可能包含敏感信息的材料发布到公共仓库。受影响的仓库中有93%位于个人账户下，这些发现凸显了对智能体可发布数据的位置实施管控的重要性，而不能仅依赖预设工作流或开发人员指令。
10月报告的另一起事件引发了人们对共享AI智能体环境中数据暴露问题的担忧。据当事人自述，一个由Grok驱动的个人助理智能体发布了信息，将其所有者的个人财务信息发布到了一个工作用Slack频道，而所有者本人也在该频道中。按预期，Grok机器人应以只读方式审计所有者的银行账户，分析支出，并每月报告结果。关键在于，该智能体并未连接Slack；它本应通过其他方式将审计结果发送给所有者。
然而，该用户的财务信息却出现在他所在公司的Slack频道中，看起来就像是他本人发布的，持续了两个小时，直到一位同事指出这一问题。尽管这起报告的事件尚未得到证实，但它凸显了一个可信的安全隐患：当多个智能体在同一环境中共享凭据、会话或集成时，智能体级别的权限可能无法提供充分的隔离。
财务机器人没有Slack访问权限，但同一账户下的另一个机器人有此权限，而且用户的所有机器人都共享资源。事实上，SpaceXAI的文档明确警告，不应将独立的机器人用作安全边界。据报道的这起事件引发了一个疑问：针对各个智能体设置的权限能否在共享环境中提供充分保护。当智能体可以访问共用的凭据、会话或资源时，组织需要评估是否实施了有效的隔离和授权控制。
没有攻击者，也需防范风险
这些事件说明了一个重要区别：模型抵御对抗性攻击的能力，并不能证明基于该模型构建的每个应用或智能体都具备安全性。模型韧性是一个重要考量因素，但安全性还取决于已部署AI系统的权限、集成方式和管控措施。
F5 Labs的综合AI安全指数（CASI）衡量模型抵御对抗性攻击的能力，包括提示词注入和越狱攻击。智能体抗攻击评分（ARS）评估抵御复杂、多步骤智能体攻击的韧性。两者都为评估对抗性攻击抵御能力提供了有价值的依据，但均不旨在评估已部署智能体所涉及的每一项权限、集成或执行控制。
这一区别很重要，因为智能体运行在由连接器、凭据、共享资源和权限构成的更广泛系统中。10月的研究表明，即使没有攻击者，这些外围控制措施的薄弱环节也可能导致意外的信息泄露。研究还指出了其他案例，包括GitSpawn和GitLab AI Gateway漏洞，攻击者可能利用其中未在必要时得到强制执行的信任边界或执行边界。这些案例的共同启示是，无论风险操作源于执行合法任务的智能体，还是利用薄弱环节的攻击者，安全边界都必须有效发挥作用。
对CISO而言，这意味着评估不能仅限于模型。威胁建模应涵盖完整的智能体架构，包括身份、授权、工具访问、共享环境以及自主行动的后果。主要关注恶意入侵的检测方法，也可能漏掉已获授权的智能体所执行的有害操作。模型层面强大的对抗韧性固然有价值，但不能替代对已部署智能体的访问、执行或披露权限的强制落实与监控。
保护组织免受非对抗性风险影响
这些发现表明，组织不能仅依赖智能体的预期行为或模型的安全评分。首席信息安全官无法预见自主智能体可能采取的每项行动，但可以通过设定并验证可强制执行的边界，降低意外行为的影响。以下五个方面值得关注：
- 拓展对AI安全的定义。在评估模型韧性的同时，也要评估更广泛的AI系统的安全性，包括智能体身份、授权、隔离、资源访问和执行环境。这些安全评估各有侧重，但相互补充。
- 全面考虑AI基础设施。将AI网关、模板引擎和智能体编排服务纳入资产清单、漏洞管理、补丁更新流程和特权访问审查。10月在GitLab AI Gateway中发现的问题表明，必须将这些组件视为对安全至关重要的基础设施。
- 落实技术边界。 提示指令和智能体专属设置不能替代有效的隔离和授权，尤其是在智能体共享资源的情况下。限制智能体可发布制品的位置，审查智能体创建的可复用技能，并监控智能体操作实际产生的结果。
- 在执行前验证控制措施。 检查信任和审批控制措施是否在可能发生危险操作之前生效。在10月的GitSpawn发现中，存储库配置可能在智能体启动期间、相关信任检查执行之前触发代码执行，而无需模型调用工具。因此，应审查启动行为、开发者端点权限以及软件供应链路径。
- 随着模型和智能体环境的变化，重新评估其安全性。10月的CASI结果显示，即使在同一模型系列中，得分也存在差异：GPT-6 Luna得分为93.52，Astra为89.62，Sol为88.22。因此，各模型变体需要单独进行安全评估。智能体的权限、集成和基础设施发生重大变化后，也需要重新评估。对抗性测试（包括F5 AI Red Team）有助于发现弱点，但还必须检查约束智能体行为的运行控制措施。
10月的研究结果进一步印证了首席信息安全官需要关注的一项实践经验：模型韧性、智能体行为以及AI部署相关的控制措施需要综合评估。较高的对抗韧性评分并不能消除权限、集成或基础设施带来的风险。
阅读《F5 Labs 10月AI安全洞察报告》，了解最新的CASI和ARS结果、新兴攻击技术以及AI系统漏洞分析。
了解F5 AI Security Platform如何帮助保护您的组织。同时，欢迎阅读上个月的F5 Labs威胁情报洞察博客文章，了解CISO在模型部署前后需要评估的各类安全指标。
关于作者
Malcolm Heath是F5 Labs的首席威胁研究员。他曾在不同规模的公司从事事件响应、项目管理、渗透测试、代码审计、漏洞研究和漏洞利用开发工作。加入F5 Labs之前，他曾担任F5 SIRT高级安全工程师。
Malcolm Heath 的更多博客文章
Louise Scully现任F5 AI安全与威胁情报产品营销高级经理。她长期深耕AI安全和企业技术领域，职业经历涵盖产品营销、产品管理、市场进入策略、传播、思想领导力和品类发展。加入F5之前，Louise曾负责CalypsoAI和Artomatix的营销工作，助力AI技术和研究成果走向市场。
Louise Scully 的更多博客文章相关博客文章
PQC进展掩盖了整体准备不足的问题
F5 Labs发布的2026年新报告评估了排名前100万的网站对后量子密码学（PQC）的准备情况。报告显示，相关工作虽有进展，但主动缓解措施仍明显不足，令人担忧。
F5 2026年报告：AI推理时代已经到来，让本已复杂的IT环境更添挑战
F5最新发布的研究显示，大多数企业正将AI推理转移至内部运行，目前每家公司平均使用7个AI模型。
IL5/6救不了您：提示词注入威胁只读LLM
随着大语言模型（LLM）集成到美国国防部IL5/IL6环境中，了解F5解决方案如何保护数据、防范注入攻击并增强零信任模型。