机器人如何攻击大型语言模型： OWASP LLM 前 10 名

1. 即时注射

根据 OWASP 的说法， Prompt 注入攻击试图以恶意的方式改变 LLM 的行为，这可能导致模型“违反准则、生成有害内容、启用未授权访问或影响关键决策”。 为了通过提示影响模型的行为，对手很可能需要注入许多提示——用有害的提示淹没模型，以最大化伤害或找到实现预期结果的提示。 为了输入足够数量的恶意提示，对手将需要机器人来实现自动化。 

2. 敏感信息泄露

在打造为员工和客户提供商业价值的 LLM 的竞争中，各组织将在自己专有的庞大数据存储上训练模型。 然而，这些数据存储可能包含敏感信息，包括个人数据和商业机密。 对手几乎肯定会探测这些模型，希望泄露敏感数据。 而且由于对手可能不知道他们正在寻找什么数据以及如何具体提示这些数据，他们可能会采取暴力破解的方法，发出许多提示，希望其中一条提示能够泄露有价值的敏感信息。 为了对模型运行大量提示，想要扩大攻击规模的对手将部署机器人。

3. 供应链

与任何信息系统一样，LLM 具有依赖关系，包括训练数据、基础模型和部署平台，这意味着对手可以通过破坏其供应链来破坏 LLM。 为了破坏依赖关系，对手可能会使用机器人通过虚假信息操纵数据存储、通过撞库攻击或实时网络钓鱼代理破解身份验证系统以及探测授权漏洞。

4. 数据和模型中毒

在数据中毒中，对手操纵预训练、微调或嵌入数据来引入漏洞、后门或偏见。 根据 OWASP 的说法，“这种操纵可能会损害模型的安全性、性能或道德行为，从而导致有害的输出或功能受损。” 虽然攻击者可以采用多种方法来操纵数据，但机器人是许多攻击类型的常用工具，从破坏身份验证或授权到通过缺乏机器人保护的applications将虚假数据插入数据存储。

5. 输出处理不当

不当的输出处理是指未能检查 LLM 模型的输出是否会损害依赖该输出的系统。 虽然供应链和数据与模型中毒的漏洞指的是对 LLM 模型上游系统的危害，但不适当的输出处理会影响下游系统；即依赖于 LLM 模型输出的系统。 据OWASP称，“成功利用不当的输出处理漏洞可能导致 Web 浏览器中的跨站点脚本 (XSS) 和跨站点请求伪造 (CSRF) 以及服务器端请求伪造 (SSRF)、权限提升或后端系统上的远程代码执行。”

从另一个角度来看，对手使用 LLM 来攻击另一个依赖 LLM 输出的应用。 虽然攻击者可以通过精心设计的应用输入来利用此漏洞，但攻击者可能会尝试通过自动化方式进行暴力攻击，尝试多种变化来发现产生损害下游应用的输出的输入。 自动化系统将尝试强制模型产生恶意输出，并测试该输出是否对应用产生了预期的不良影响。 要扩大这种类型的探测就需要机器人。

6. 过度代理

过度代理是一种通过基于 LLM 的系统进行的特权升级形式。 该漏洞源自以提升权限运行的基于 LLM 的系统，使其能够调用函数或与其他系统交互。 对手不知道基于 LLM 的系统在哪里提升了权限，或者如何利用这种提升，可能会使用自动化来输入多个提示，希望触发和利用权限提升。

7. 系统提示漏电

基于LLM构建的应用s通常会为LLM提供系统提示指令，指导模型的行为以满足应用程序的要求。 实际上，系统提示可能包含秘密：数据库的连接字符串、专有代码、知识产权或企业应保密的其他内容。 系统提示漏电那么，就是一种特定形式的提示注入，它会触发应用无意中泄露其系统指令。

让 LLM 通过提示暴露这些秘密并非易事，而且几乎可以肯定，对手会开发自动化脚本来更有效地探测系统提示中嵌入的敏感数据。

8. 向量和嵌入弱点

LLMapplications通常通过增强上下文来增强模型输出，并通过称为检索增强生成 (RAG) 的技术提供给模型。 通过 RAG 提供给 LLM 的内容不是原始文本，而是嵌入元数据和内容的预处理向量。 根据OWASP的说法，“向量和嵌入的生成、存储或检索方式中的弱点可能会被恶意行为（有意或无意）利用来注入有害内容、操纵模型输出或访问敏感信息。” 换句话说，对手可以追踪 RAG 内容及其处理来攻击 LLM 系统。

企业实施自己的流程并定义 RAG 内容的范围以满足其组织的特定需求，这意味着内容及其缺陷将是组织所独有的。 从对手的角度来看，发现这些缺陷并不容易，因此肯定需要自动化探索，也就是使用机器人。

9. 误传

当 LLM 提供虚假或误导性信息时，依赖该信息的系统可能会出现故障，从而导致安全漏洞、声誉损害和法律责任。 LLM 可能会通过幻觉或由于训练数据的偏见和差距而产生错误信息。  

寻求利用幻觉的对手可能会自动化他们的提示和反应分析。 例如，通过自动化代码生成过程（即使用 LLM 生成许多计算机代码实例），对手可以找到对实际上不存在的软件库的代码引用。 然后，对手可以在 LLM 幻觉中的任何代码库中创建一个恶意软件库。 如果LLM生成的代码没有经过充分的审查，恶意库就会嵌入到发布的产品中。

对手同样可以使用机器人来操纵训练数据，故意输入大量数据来使模型产生偏差。

10. 无限制消费

第十个 OWASP LLM 漏洞“无限制消耗”与 OWASP API 漏洞“无限制资源消耗”以及 OWASP 自动化威胁“拒绝服务”非常接近。 对手的请求数量超出预期，以至于推理服务遭遇拒绝服务、性能下降和超额成本。 据 OWASP 称，“LLM 的高计算需求，尤其是在云环境中，使其容易受到资源利用和未经授权的使用。” 为了超出预期的使用量，对手几乎肯定会使用机器人来扩大请求量。

实施机器人保护

由于许多组织面临着快速将人工智能功能推向市场的压力，并且 LLM 的安全影响尚未完全了解，因此他们应该考虑在基于 LLM 的applications以及将数据输入 LLM 模型的applications之前实施机器人保护。 对手发动的攻击越多，成功的机会就越大。 F5 提供了一种特别有效的机器人防护服务，即基于 AI 构建的F5 分布式云机器人防御，可帮助组织在对抗使用机器人和自动化来攻击 LLMapplications的对手方面占据上风。

了解有关分布式云机器人防御的更多信息。