将GPU容量转化为托管Kubernetes业务

提供托管Kubernetes和GPU即服务的Neocloud服务商需要在网络中隔离每个租户,为其提供独立、受控的出入路径,并确保其他租户无法访问该租户。F5不仅能满足这些需求,还能提供更多能力。

企业租户首先关注自身的隔离方式


当neocloud服务商从裸金属服务向上拓展时,就需要承担原本由租户自行构建的网络功能:客户间隔离、受控的入站和出站流量、防火墙防护,以及用于验证这些措施的日志。开源代理和脚本可以让首个集群运行起来,但每新增一个租户,都需要重新构建一套配置。F5将这一层作为F5 Application Delivery and Security Platform中提供支持的组件交付。

在网络中隔离租户
通过EVPN-VXLAN和VRF为每个租户提供独立的路由域,而不仅限于命名空间和标签。

掌控入站和出站流量
为每个租户提供入站流量管理、采用固定源地址的出站流量管理,以及节点边缘防火墙。

释放主机核心,用于创收
经The Tolly Group验证的测试显示,在DPU模式下,主机核心使用量从12个降至2个。

从现有服务器起步
在标准主机CPU上运行;当主机核心的价值更高时,可添加BlueField DPU。

F5如何帮助neocloud提供商拓展GPU时长之外的业务

租户隔离

命名空间和网络策略可在Kubernetes内部隔离租户,但各租户仍共享底层网络,企业安全团队对此很清楚。BIG-IP Next for Kubernetes利用结合VRF的BGP EVPN-VXLAN,将每个租户映射到各自的路由域,使每个租户的流量都通过其专属VRF进出集群。这样,新增租户只需配置,无需重新构建;平台团队也只需运维一个层,而不必为每个客户分别运维代理、路由器和防火墙。

探索Kubernetes网络
产品

BIG-IP Next for Kubernetes

在集群边界实现网络级租户隔离,并为各租户设置独立策略。

产品

部署在NVIDIA BlueField DPU上的BIG-IP Next for Kubernetes

在DPU上实施租户管控,与主机操作系统分离。

入站、出站和防火墙

每个租户都需要受控的流量出入口。BIG-IP Next for Kubernetes通过Kubernetes Gateway API为每个租户提供入站访问,通过各租户专属的稳定源地址提供出站访问,供外部系统将其加入允许列表,同时提供节点边缘防火墙,并为每个租户提供独立的日志流。默认情况下,Pod出站流量使用节点地址,因此外部系统无法区分不同租户。借助F5,租户可获得其安全团队要求的控制措施,服务提供商也能获得可向租户展示的佐证。

探索Kubernetes网络
产品

BIG-IP Next for Kubernetes

在集群边界实现网络级租户隔离,并为各租户单独设置策略。

产品

NGINX Gateway Fabric

用于处理租户集群内部应用流量的Gateway API实现。

让主机核心重新投入创收

在标准服务器上,网络、加密和策略功能运行在主机CPU核心上,而这些核心从不用于计费。以DPU模式部署在NVIDIA BlueField DPU上时,BIG-IP Next for Kubernetes会将该数据路径转移到DPU。在经The Tolly Group验证的测试中,使用小型模型测得每台服务器占用的主机核心数从12个降至2个。放眼整个机架,这些容量就可以用于销售,而不再用于内部消耗。可以先在主机上运行,等到这些核心作为可售容量的价值更高时,再迁移到DPU。

阅读Tolly报告
产品

部署在NVIDIA BlueField DPU上的BIG-IP Next for Kubernetes

在DPU上实施租户管控,与主机操作系统相互独立。

产品

BIG-IP Next for Kubernetes

在集群边界实施网络级租户隔离和针对各租户的策略。

为工厂供给资源并提供保护

训练租户从跨站点、跨云的对象存储中拉取数据,数据路径一旦停滞,其GPU就只能等待,而时间成本由您承担。公共推理端点和租户API直接面向互联网,过载会带来高昂代价。F5 BIG-IP对通往GPU的S3数据路径进行负载均衡和安全防护,并依托专为服务提供商规模打造的硬件,在工厂边界提供DDoS防护、防火墙功能和全局流量引导。

探索AI数据交付
产品

BIG-IP LTM

在S3存储端点之间实现负载均衡和故障转移。

产品

BIG-IP DNS

跨站点对用户和数据流量进行全局引导。

产品

BIG-IP DNS

在站点间对用户和数据流量进行全局调度。

产品

BIG-IP DNS

在全球范围内跨站点引导用户和数据流量。

产品

BIG-IP DNS

在全球范围内跨站点引导用户和数据流量。

产品

BIG-IP DNS

跨站点对用户和数据流量进行全局调度。

资源

常见问题

新型云(neocloud)是一类围绕AI所需的GPU算力而非通用计算构建的云服务提供商。这类提供商大多从按小时出租裸金属GPU服务器起步,如今正逐步增加托管Kubernetes、GPU即服务,部分还提供推理服务,让企业客户获得的是一个平台,而不只是服务器。这一转变提高了每GPU小时可带来的收益,也提高了租户对底层网络的期望。

隔离在多个层面发挥作用。命名空间和基于角色的访问控制限定每个租户的管理范围,虚拟集群则为每个租户添加一个控制平面。网络层隔离通常采用EVPN-VXLAN,并为每个租户配置专用VRF,确保各租户的流量在进出集群时始终处于各自的路由域内。随后,集群边界处针对各租户的入站、出站和防火墙策略控制每个租户可以访问的目标。

裸金属服务出租整台服务器,由租户自备并运行软件栈。GPU即服务和托管Kubernetes则在此基础上提供平台层,包括调度、网络、租户隔离、入站和出站流量以及支持。提供商承担更多责任,可以按每GPU小时收取更高费用,而企业租户也越来越期望获得这样的平台,而非单纯的服务器。

为每个租户提供独立的出站路径。为各租户配置具有固定源地址的出站流量,可让外部系统按地址将租户加入允许列表,避免一个租户的流量看起来来自另一个租户,并便于按目标地址记录和审计出站连接。Kubernetes网络策略有助于实现这一目标,但其作用范围是集群内部的Pod和IP地址块。

不需要。BIG-IP Next for Kubernetes运行在标准主机CPU上,租户隔离、入站和出站流量处理也在主机上完成。NVIDIA BlueField DPU将数据路径从主机卸载,并在主机操作系统之外执行策略。随着租户数量增加,主机核心作为可售容量的价值不断提升,这种方式也更具价值。在DPU模式下测得的结果不适用于主机部署。