博客

F5人工智能网关: 解决人工智能安全和交付的独特挑战

Lori MacVittie 缩略图
洛里·麦克维蒂
2024 年 11 月 12 日发布

在过去的一年里,我们学到了很多关于生成式人工智能的知识。特别是,我们看到了部署模式的最佳实践成为现实,人工智能工厂成为新的数据中心构建模块,而对人工智能模型和应用的交付和安全性的担忧也日益凸显。 

虽然人工智能应用确实是“最现代的现代应用”并且严重依赖 API,但人工智能应用在安全性、监控和交付方面也带来了独特的挑战。 

一个重大的挑战是由于人工智能应用的不确定性。 也就是说,入站输入和出站响应差异很大,并且随着时间的推移而发展。 人工智能应用还可以从跨多个位置的结构化和非结构化来源提取数据。 事实上,当我们调查市场并发现人工智能的公共云、内部部署和混合部署计划的强大组合时,这并不奇怪。 

非结构化、不可预测的输入和输出的问题在于很难确定请求或响应是否包含敏感或不正确的信息。 虽然 API 安全和 Web应用防火墙通常就是用于此目的,但它们针对确定性内容进行操作。 也就是说,请求和响应的格式和内容是可以理解的,因此更容易检测恶意或敏感内容。 虽然人工智能利用与 API 和 Web应用相同的结构,但其内容变化很大,这使得制定扫描或清理请求和响应的策略变得困难。

这一挑战中隐含着另一个含义: 必须双向监控人工智能流量。 鉴于相当一部分组织计划利用人工智能即服务,例如 ChatGPT、Azure、Google 或 Hugging Face,这一点尤其正确。   

保护人工智能模型所需的安全性

这就是为什么现有的API和应用安全解决方案不足以保护AI模型和应用的原因。 人工智能安全是这些现有服务的补充,提供保护公司和客户安全所必需的额外和独特的功能,例如防止即时注射、模型操纵、幻觉和人工智能攻击。 

为了管理和保护人工智能模型和应用,应用交付和安全服务必须: 

  • 观察并记录所有请求、响应和管理行动,以支持法律和合规要求。 
  • 通过检查和处理恶意、敏感或不准确的提示和响应来保护组织和用户。  
  • 使用流量控制策略和控制(包括容量耗尽攻击预防)来加速性能。 

为什么选择 F5 AI Gateway?

20 多年来,F5 一直致力于应用架构转变所带来的交付和安全挑战。 人工智能引入了一种新的应用架构,与其前代产品一样,需要在应用交付和安全性方面进行互补演进。 F5 AI Gateway保护、加速和观察 AI 驱动的应用,是 F5应用交付和安全的自然发展。 

这一进展包括对当今 IT 产业的混合、多云现实的支持,因此 F5 AI Gateway 可以单独部署,也可以与现有的 F5 软件、硬件或服务集成。  

最初,我们对 F5 AI Gateway 的重点是解决核心交付需求和与实时安全挑战相关的OWASP LLM 十大项目,未来还会推出更多内容。

其他功能(例如通过 OpenTelemetry 报告各种指标、仔细关注审计日志要求、语义缓存、速率限制和基于内容的模型路由)可确保支持所有三个 AI 交付和安全要求:观察保护加速。 

F5 AI Gateway 专注于解决 OWASP LLM Top Ten 确定的交付需求和实时安全挑战。
F5 AI Gateway 专注于解决 OWASP LLM Top Ten 确定的交付需求和实时安全挑战。

F5 AI Gateway 认识到人工智能正在快速发展,并且没有两家企业是相同的,因此它通过由 Python、Rust 和 Go 软件开发工具包 (SDK) 支持的插件生态系统进一步使组织能够适应定制和新需求。   

保护任何地点的任何应用和 API

F5 致力于在任何地方交付和保护每个应用和 API。 随着应用的发展,这意味着我们需要不断发展产品组合以应对新的独特挑战。 对于 AI应用,F5 AI Gateway 提供了组织在任何地方交付和保护这些应用所需的功能。 


您可以在此处了解有关 F5 AI Gateway 的更多信息,或者联系您的 F5 客户主管或 F5 技术合作伙伴。