面向未来的AI Kubernetes连接

面向NGINX Enterprise的F5 NGINX Gateway Fabric提供应用、API和模型感知路由,并内置治理和安全功能。


专为满足AI需求的Kubernetes连接而构建

面向AI工作负载的模型感知路由

AI推理工作负载难以预测,提示词的长度和计算强度各不相同,导致传统路由效率低下。静态负载均衡可能导致后端过载或资源利用不足。Gateway Fabric for NGINX Enterprise支持模型感知路由,可根据模型类型、成本与性能特征以及运行时信号引导流量,实现高效、可扩展的AI交付。

  • 按模型和工作负载类型路由: 根据模型类型、版本或其他参数定向转发请求,确保选择合适的后端并高效利用资源。
  • 应对多变的AI工作负载:动态适应提示词长度和计算需求的波动,避免过载,同时保持性能稳定。
  • 提升性能和效率:根据缓存和队列深度等实时指标,将请求路由至合适的后端,优化延迟和吞吐量。
简化Kubernetes应用连接的示意图
NGF集成:绿色机器人积木AI大脑

NGF与F5 AI Guardrails和F5 WAF的集成

  • 高级AI威胁缓解: 检查并过滤入站流量,直接在集群边缘阻止提示注入和越狱攻击,防止攻击触及大语言模型。
  • 敏感数据保护:实施严格的出站策略,防止个人身份信息(PII)和知识产权通过模型响应外泄。
  • 集成式WAF防护: 通过对开发者友好的GitOps工作流应用企业级Web应用防火墙(WAF)防护,实现原生威胁防御。
  • 声明式合规:支持安全团队编写全局合规与防护策略,同时让应用团队通过Kubernetes原生自定义资源安全地部署这些策略。

灵活的流量控制

传统Ingress高度依赖注解,导致配置分散且难以管理。Gateway Fabric for NGINX Enterprise引入了表达能力丰富的Kubernetes原生CRD,使不同团队和环境能够采用一致、可复用的声明式流量策略。

  • 以CRD替代注解:使用结构化的Kubernetes原生API替代分散的注解,提高可读性、一致性和长期可维护性。
  • 可复用的流量策略:只需定义一次路由和流量策略,即可跨环境复用,减少重复配置和配置漂移。
  • 声明式配置模型: 使用受版本控制且符合Kubernetes最佳实践的声明式资源来管理流量。

灵活的流量控制
插图:面向平台团队的基于角色的控制

面向平台团队的基于角色的控制

随着团队规模扩大,共享基础设施的管理变得复杂且容易出错。Gateway Fabric for NGINX Enterprise引入面向角色的资源,将平台与应用的职责分离,在保持集中治理和控制的同时,实现安全授权。

  • 清晰的角色划分:平台团队可定义基础设施和策略,开发人员则可安全地控制特定应用的路由。
  • 支持安全自助服务:让团队能够在既定约束范围内独立部署和管理服务,减少瓶颈并降低风险。
  • 大规模一致性治理:跨集群和团队应用集中式策略,同时为各个应用保留灵活性。

平稳演进,超越Ingress

Gateway Fabric for NGINX Enterprise提供面向未来的流量管理模型,让团队能够沿用现有的Ingress模式和熟悉的运维方式,推进Kubernetes连接的现代化。

  • 下一代Ingress模型:采用更灵活、更易扩展的流量管理方式,满足现代应用和不断变化的工作负载需求。
  • 专为现代工作负载打造:通过高级路由、策略控制和可扩展性,支持应用、API和AI用例。
  • 灵活采用: 并行运行Ingress和Gateway API,为新应用使用Gateway API,同时保持现有Ingress工作流正常运行,不受影响。

插图:实现无缝平台集成

消除反复配置,硬盘、箭头和IP

GatewayLink:将BIG-IP扩展至Kubernetes

  • 消除频繁的配置变更:通过提供单一且高度稳定的NGINX端点,使外部BIG-IP硬件不受动态Kubernetes Pod的IP地址持续变化的影响。
  • 连接NetOps与DevOps: NetOps在BIG-IP边缘维持安全控制,DevOps则在内部应用路由方面保留充分的敏捷性。
  • 优化流量路径:优化从网络边缘深入Kubernetes集群内部的南北向流量,降低延迟并简化多集群路由架构。

产品概述

NGINX Gateway Fabric示意图

高效的Kubernetes治理

Gateway Fabric for NGINX Enterprise通过Gateway API大规模管理流量,在Kubernetes中交付应用。它支持平台团队控制访问,同时由应用团队定义路由,确保安全、一致地将流量交付至集群内服务。

Gateway Fabric for NGINX Enterprise产品文档

核心功能

Gateway Fabric for NGINX Enterprise提供Gateway API,具备高级路由、策略控制和模型感知流量管理能力,并通过NGINX Enterprise的相关功能增强可观测性、安全性和可靠性。


高级L7路由

根据主机、路径、请求头和请求方法路由流量。

流量拆分

通过加权路由实现金丝雀发布。


模型感知路由

根据模型类型、版本或成本与性能特征路由AI流量。


基于策略的治理

应用可复用的流量和安全策略。


基于角色的访问控制

明确划分平台级和应用级职责。

实时可观测性

利用指标和实时洞察监控流量。


动态重新配置

无需重新加载,即可即时更新路由。


内置安全控制

强制执行TLS、mTLS和身份验证策略。


资源

精选

nginx gateway fabric

F5 Gateway Fabric for NGINX Enterprise支持Gateway API推理扩展

F5 Gateway Fabric for NGINX Enterprise支持Gateway API的推理扩展,可为Kubernetes提供能够感知推理的智能路由功能

阅读博客

相关产品