F5与NVIDIA推出新功能,加速AI推理,提升AI工厂经济效益
发布日期:2026年3月17日
联系人
- Dan SorensenF5(650) 228-4842d.sorensen@f5.com
- Holly LancasterWe. Communications(415) 547-7054hlancaster@wecommunications.com
由BlueField DPU加速的F5 BIG-IP Next for Kubernetes可提高令牌吞吐量、降低每个令牌的成本,并支持构建安全的多租户AI基础设施,推动AI工厂转型,以适应智能体时代
西雅图,F5(纳斯达克股票代码:FFIV)致力于为每个应用和API提供交付与安全保障。今天,F5宣布扩大与NVIDIA持续合作的能力,以加速并优化AI推理基础设施。
扩展后的集成将F5 BIG-IP Next for Kubernetes与NVIDIA BlueField-3 DPU相结合,构建智能且可感知遥测数据的基础设施层,通过提高GPU利用率来提升令牌吞吐量、降低延迟,并支持安全的多租户AI平台实现规模化部署。
在AI系统中,token是衡量AI输出的单位,指推理过程中生成和处理的字词、符号或数据片段。token的生成量和生成速度最终决定用户体验、基础设施效率以及每个加速器带来的收入。
随着企业和GPUaaS提供商加速推动AI商业化,并从AI实验转向创收服务,基础设施效率已成为一项关键衡量指标。衡量成功与否,越来越不能只看已部署的GPU容量,还要考虑token经济性、持续token吞吐量、首个token生成时间(TTFT)、每token成本以及每个GPU加速器的收入。F5与NVIDIA联合解决方案旨在直接改善这些指标。
通过智能AI基础设施优化Token经济性
从以应用为中心的推理转向由智能体驱动的AI工作流,需要采用新的架构方法来优化令牌吞吐量并降低成本。BIG-IP Next for Kubernetes现可利用NVIDIA NIM统计数据、Dynamo运行时信号和GPU遥测数据,在执行前做出感知推理状态的路由决策。该解决方案通过实时将工作负载与最合适的加速器进行匹配,提高持续利用率,同时减少延迟和重复计算。
F5首席产品官Kunal Anand表示:“AI基础设施已不再只是获取GPU资源或扩展GPU部署规模,而是要尽可能提高每个加速器的经济产出。我们与NVIDIA携手,帮助AI工厂将令牌产出作为可衡量的业务指标。BIG-IP Next for Kubernetes提供提高GPU产出、降低每令牌成本以及稳妥扩展共享AI平台所需的智能和治理能力。”
经验证的基础设施效率:结构性提升
性能数据足以说明成效。在经The Tolly Group验证的测试中,由NVIDIA BlueField-3 DPU加速的BIG-IP Next for Kubernetes实现了高达40%的令牌吞吐量提升、首次令牌生成时间(TTFT)缩短61%,以及整体请求延迟降低34%。
这些并非小幅提升。通过将网络、TLS/加密、AI感知型负载均衡和流量管理卸载到NVIDIA BlueField-3 DPU,BIG-IP Next for Kubernetes可保留主机CPU容量,并释放GPU资源,使其能够持续进行大规模高吞吐量推理。由此可提高GPU利用率、缩短排队延迟并增加令牌产出,从而在基础设施规模固定的情况下,降低每个令牌的成本。更重要的是,这些提升无需修改模型,因此可立即部署到现有AI工厂基础设施中。对于围绕令牌经济性展开竞争的企业和NeoCloud提供商而言,这正是限制AI产出的基础设施与加速AI产出的基础设施之间的差别。
NVIDIA网络业务高级副总裁Kevin Deierling表示:“NVIDIA加速计算基础设施与F5具备AI感知能力的应用交付与安全平台相结合,可提升AI工厂的令牌经济效益,无需对模型进行任何更改,即可提供可扩展且经济高效的推理。F5与NVIDIA携手助力企业高效、经济地扩展AI工厂推理。”
专为智能体驱动型AI和多租户AI平台打造
现代AI工作负载日益由智能体驱动,具有持久性和上下文感知能力。它们需要传统负载均衡无法提供的智能流量控制。增强后的BIG-IP Next for Kubernetes解决方案现可支持:
- 面向智能体AI工作流的推理感知路由
- 与NVIDIA DOCA Platform Framework (DPF)集成,简化NVIDIA BlueField DPU的部署和生命周期管理
- 采用动态VRF的EVPN-VXLAN,实现安全的网络级多租户
- Kubernetes AI环境中的集成式安全、令牌治理和可观测性
这些功能使企业和NeoCloud提供商能够在不同业务部门之间或与外部客户安全共享GPU基础设施,同时保持性能隔离和可预测的服务水平。
面向 AI 工厂经济效益的控制平面
F5与NVIDIA为企业提供经过验证的工具和最佳实践,帮助优化推理架构。借助这些进展,BIG-IP Next for Kubernetes有望成为管理AI工厂经济效益的战略控制平面,用于管控令牌消耗、优化流量并提升基础设施投资回报。
组织无需再通过过度配置来弥补效率不足,而是可以从已投入生产的每个GPU中获得更高的经济价值,从而提高每个GPU带来的收入、降低运营开销,并构建可扩展的AI服务,为持续增长提供支持。NVIDIA的基础设施遥测和DPU加速与F5的流量智能和安全能力相结合,帮助企业将AI工厂转变为高效、可实现商业变现的平台,为智能体时代做好准备。
支持材料
关于F5
F5, Inc.(纳斯达克股票代码:FFIV)是应用交付与安全领域的全球领先企业。凭借30年的专业经验,F5打造了业界卓越的平台F5 Application Delivery and Security Platform (ADSP),可在本地、云端、边缘以及混合多云环境中随时随地交付和保护每个应用及每个API。F5致力于持续创新,并与全球众多大型先进组织合作,提供快速、可用且安全的数字体验。我们携手共进,共创更美好的数字世界。
如需了解更多信息,请访问f5.com
访问以下网站,了解F5 Labs威胁研究:f5.com/labs
关注以下平台,进一步了解F5、合作伙伴及相关技术:博客 | LinkedIn | X | YouTube | Instagram | Facebook
F5、BIG-IP和BIG-IP Next是F5, Inc.在美国及其他国家/地区的商标、服务标志或商号。本文提及的所有其他产品和公司名称可能是其各自所有者的商标。本新闻稿所述合作并不意味着F5与NVIDIA之间存在合资、法律合伙或代理关系。
前瞻性陈述
本新闻稿包含有关F5与NVIDIA集成后预期性能、效率和经济效益的前瞻性陈述,此类陈述受风险和不确定性影响。