人工智能工厂的 API 保护： 迈向人工智能安全的第一步

在我们之前的 AI 工厂系列中，我们将 AI 工厂定义为满足大容量、高性能训练和推理要求的大规模存储、网络和计算投资。 与传统制造工厂一样，人工智能工厂利用预先训练的人工智能模型将原始数据转化为情报。 人工智能应用程序只是现代应用程序中最现代的，通过 API 紧密连接并且高度分布。

我们首先假设人工智能应用程序是一种现代应用程序，面临着交付、安全和运营方面同样熟悉的挑战，并且人工智能模型将从根本上增加需要交付和安全的 API 数量。 

那么，任务完成了！ 我们明白了，对吧？ 我们知道如何安全地交付现代应用程序。 我们拥有完善的应用安全最佳实践，并且了解保护 API 的复杂性。 我们拥有可在分布式环境中提供全面保护和一致安全性的解决方案。

别那么快！ 当我们简要介绍细节时，请保留您的 GPT。

虽然人工智能应用与现代应用（本质上都是基于 API 的系统）具有相同的风险和挑战，但人工智能应用具有特定的含义——训练、微调、推理、检索增强生成 (RAG) 和插入人工智能工厂的点。

因此，是的，人工智能应用程序与现代应用程序一样，具有高度分布式的特性，会造成工具泛滥，并使保持一致的可见性、统一的安全策略实施以及在混合和多云架构中普遍补救威胁的努力变得复杂。 除了应对这种充满风险和复杂性的“火球”之外，防御者还必须应对人类请求的随机性和人工智能获取内容的高度可变性，这些特性可能导致人工智能做出不可预测的响应，同时还需要考虑数据规范化、标记化、嵌入和填充矢量数据库。

将数据整合到 AI 工厂可以创建一个整体且互联的企业生态系统，而所有这些活动部件之间的集成和接口需要强大的 API 安全态势。

保护作为 AI应用功能和数据交换门户的 API 免受安全风险至关重要。 虽然存在相同的漏洞利用、业务逻辑攻击、机器人滥用和拒绝服务 (DoS) 风险，但还需要考虑 AI 工厂内新的和修改的插入点，以及通过自然语言处理 (NLP) 接口、插件、数据连接器和下游服务（在训练、微调、推理和 RAG 期间）对 LLM 的风险。 此外，像 DoS 这样的已知攻击还有其他考虑因素；针对容量密集型 DDoS 和 L7应用DoS 的缓解措施并不能完全抵消模型DoS 的风险。 人工智能应用程序也存在可解释性悖论，强调了可追溯性对于帮助抵消幻觉、偏见和虚假信息的重要性。

而攻击者也并未袖手旁观。 生成式人工智能使攻击民主化，并提高了网络犯罪分子和民族国家活动的复杂性。 LLM 代理现在可以自主破解 Web 应用程序和 API——例如，执行盲数据库模式提取和 SQL 注入等复杂任务，而无需事先知道漏洞。

虽然新型人工智能风险正在引发大量关注，但 API 安全对于人工智能工厂的重要性怎么强调也不为过。 这很紧急。 人工智能应用程序的 API 范围的扩大令人震惊。 每个 CISO 都需要将 API 安全性作为 AI 治理计划的一部分，因为任何CISO 生存指南的核心口号都应该是“你无法保护你看不到的东西”。 如果您没有 AI 应用程序背后接口的清单，那么您的威胁模型就不完整，并且您的安全态势存在漏洞。

人工智能应用是动态的、多变的、不可预测的。 安全采用人工智能应用程序需要更加重视功效、强大的策略制定和自动化操作。 检查技术将在安全领域发挥关键且不断发展的作用。

特别是对于人工智能应用程序和生态系统中的 API 安全，除了目前基本到位的入站安全控制之外，组织还需要通过为出站 API 调用和相关用例构建安全性来抵消第三方 API 不安全使用的可能性增加。 鉴于服务间和东西向流量的增加（例如来自 RAG 工作流程），机器人管理解决方案不能仅仅依靠“人”或“机器”识别。 由于 LLM应用的供应链可能存在漏洞，并影响训练数据、模型和部署平台（通常来自第三方，可通过篡改或毒害攻击进行操纵）的完整性，因此需要在数据中心、云端、边缘、从代码、测试到生产等各个环节实施安全控制。  

AI 网关技术将在帮助安全和风险团队减轻 LLM 风险（例如提示注入和敏感信息泄露）方面发挥关键作用，但 AI 安全之旅的第一步是保护连接 AI 应用程序和 AI 生态系统的 API，通过在整个 AI 应用程序生命周期中确保安全性。