以推理速度交付企业AI并保障其安全

AI的重心已从训练转向推理。F5通过路由推理流量、减少数据传输瓶颈,并在混合多云环境中实施运行时安全防护,帮助AI保持韧性与安全。

推理会暴露数据、流量和控制措施中的每一处薄弱环节

训练只进行一次。推理却持续进行,既要承受负载,又要面对开放环境,因此,数据传输、流量路由和访问控制中的任何薄弱环节都会成为生产环境中的问题。F5 Application Delivery and Security Platform位于这一控制点,在实际需求下保持AI的速度、可用性和安全性。

AI正在推动根本性变革

78%

的组织目前自行运行AI推理1

数字7,配有大脑和齿轮图案

生产环境中管理的AI模型平均数量 1

88%,配有大脑图案

的组织曾面临与AI相关的安全挑战 1

将AI愿景转化为运营就绪能力:开展AI评估

探索企业AI解决方案

AI基础设施

AI基础设施

改善大规模数据和流量传输。从兼容S3的存储数据摄取,到分布式推理和AI工厂负载均衡,F5帮助减少混合多云环境中的瓶颈,提高GPU利用率。

探索AI基础设施解决方案
AI数据交付

AI安全

AI安全

通过持续开展风险评估并提供量身定制的运行时防护,保护和治理AI模型、应用、智能体及连接它们的API,让安全团队始终掌握控制权。

探索AI安全解决方案
AI多云网络

与您现有的基础设施合作

联合解决方案,助力企业AI应用在整个生命周期内实现扩展并获得保护。

安全、高性能AI参考架构

探索交互式AI参考架构,了解如何在混合多云部署中加快数据传输、保护AI流量并保持环境韧性。


AI参考架构

行业视角

银行和金融服务

在金融服务各领域交付AI并保障其安全

金融服务业正从AI助手转向能够自主规划和执行操作的AI智能体。这种自主性增加了智能体所接触的API、模型和数据面临的风险,监管机构如今也要求智能体的每项操作都可追溯并受到监督。F5保持这些AI系统的快速响应和可用性,检查流经系统的提示词和响应,并提供可见性,帮助您证明治理措施的落实情况。了解金融服务业如何在维护账户持有人信任的同时,扩展智能体AI的应用规模。

公共部门

面向政府AI系统的运行时安全与数据交付

政府AI系统涵盖公民服务、国防和情报等领域,通常横跨涉密与非涉密环境。F5 ADSP可在本地、主权云和物理隔离部署环境中,优化AI数据交付,为AI模型和智能体提供运行时安全防护,并保护推理API。

医疗保健

扩展医疗AI规模,推动现代化并提供保护

AI正在变革医疗保健行业,但安全问题正成为阻碍。自2018年以来,黑客攻击相关事件增加了239%,但医院和医疗系统的应对步伐仍未跟上。仅满足合规要求已不够,现在需要落实网络安全实践,在保护应用和API的同时扩展规模,满足AI时代患者和医疗服务提供方的需求。

零售与电子商务

保护零售业AI安全,扩展AI应用规模

从个性化推荐,到代客户浏览和购买商品的AI智能体,AI正在重塑人们的购物方式。每一种新用途都会给应用、API和结账流程带来额外负载和风险。F5帮助您区分经过验证的购物智能体与恶意机器人,阻止数据抓取和欺诈,并在流量激增时保持在线店铺快速响应。了解零售商如何在不拖慢购物体验、不为攻击留下可乘之机的情况下,保护并扩展AI驱动的购物服务。

资源

常见问题

大多数企业GPU集群的实际运行负载远低于其容量。为提高GPU利用率,组织应采用连续批处理、推测解码和量化等运行时效率优化技术,大幅提升硬件吞吐量。此外,还可以通过智能推理路由将简单查询发送给较小的模型,同时缓存重复使用的答案,避免重复计算。如果组织能为这些GPU合理供给任务,并对整个技术栈进行监测插桩,就能降低每个token的成本。

GPU消耗数据的速度超过了流水线交付数据的速度,导致这些昂贵的加速器在等待数据时处于空闲状态。传统存储在设计时,并未考虑现代训练和推理所需的持续、高吞吐量数据访问。当访问模式不可预测、预处理由过载的CPU承担,以及数据分散在各个孤岛中、缺乏通往计算资源的快速统一路径时,数据传输问题会进一步加剧。组织可以将数据交付视为需要系统化工程设计的基础设施,以解决数据传输缓慢的问题。应采用预取、缓存、并行加载,以及让数据更靠近GPU的高吞吐量存储。借助这些技术,组织可以持续为规模较小的集群提供充足的数据,而不必维护始终缺乏数据供给的大型集群。

传统的API和数据安全通过身份验证、授权、模式验证、威胁检测和数据保护等控制措施来保护API和敏感信息。然而,这些控制措施并非为可靠地解读自然语言提示的语义和意图而设计,这给AI系统带来了额外风险。AI运行时安全在系统与用户交互期间提供保护。它通过解读自然语言输入来检测威胁,而非依赖固定规则,并在输出呈现给用户之前对其进行检查,确保模型不会提供有害内容或泄露敏感数据。

据非营利组织OWASP(开放全球应用安全项目)介绍,AI系统面临的首要威胁是提示词注入,即攻击者精心构造输入以操纵模型行为。排名紧随其后的威胁是敏感信息泄露,即模型通过输出泄露个人数据、系统提示词或知识产权。AI护栏有助于阻止这些及其他类型的威胁。输入护栏筛查提示词注入和系统指令覆盖模式,防止模型接触恶意指令。输出护栏则在模型输出传递给用户或触发下游操作之前,对其进行筛查和验证,帮助防止敏感数据通过模型输出泄露。

企业将数据和AI工作负载从云端迁回主权环境或物理隔离环境,主要有三个原因。首先,许多企业需要加强对受监管数据或敏感数据的控制,确保遵守数据主权法规,同时避免将专有训练数据存放在外部云数据中心。其次,企业希望避免云服务提供商高昂的数据传出费用和难以预测的账单。最后,企业希望通过消除多租户共享云基础设施带来的开销,提高AI推理性能。

为防止使用AI智能体和生成式AI(GenAI)工具时发生数据泄露,企业安全运营团队需要实施多层防御策略。该策略应包括:为输入和输出设置实时内联护栏;限制AI智能体的访问权限;保护用于检索增强生成(RAG)的AI对象存储;保护API访问;持续开展红队测试,并修复发现的漏洞。同时,团队应部署工具,帮助发现、分类和管控员工对AI的使用。

F5 AI Guardrails有助于执行运行时策略,并防范提示注入、敏感数据泄露、有害输出和不安全的智能体操作等风险。F5 AI Red Team通过对抗性测试,在部署前和部署期间识别漏洞与薄弱环节。F5 AI Gateway提供集中控制点,用于管理对模型、智能体和工具的访问;F5 Workforce AI Security则帮助企业了解内部经批准和未经批准的AI使用情况。这些能力共同构成F5 AI Security Platform的一部分。为在应用、API和分布式环境中提供更广泛的防护与交付支持,F5 Application Delivery and Security Platform (ADSP)提供Web应用和API防护、机器人管理、DDoS缓解以及应用交付等能力。