网络分段对AI工厂的重要性

F5生态系统 | 2024年12月31日

多年来,网络分段一直是实现威胁隔离、差异化服务质量、事件响应与分析、合规审计以及其他诸多关键互操作功能的核心。然而,当我们推崇零信任原则、急于部署AI时,是否忽视了网络基础设施的这一核心要素,而它正是现代网络安全与服务运营的基石?

在此前的AI工厂系列文章中,我们将AI工厂定义为一项大规模的存储、网络和计算投资,用于满足大规模、高性能训练和推理需求。为实现这项投资的回报,AI工厂会动态调度高价值的图形处理器(GPU)和计算资源,以执行这些训练和推理任务。调度GPU需要在每个AI集群中为AI服务构建多个“租户”。这带来了一个问题,许多运维团队往往未能提前察觉,等到发现时,常常为时已晚。

使AI工厂集群资源与网络分段相匹配

在AI集群内,我们可以根据租户上下文对资源进行逻辑分段,从而实现租户配额、资源消耗限制、主机系统安全以及基于角色的管理访问控制(RBAC)。然而,为AI集群与AI工厂网络其余部分之间的流量提供出入口的基础网络服务,并未暴露租户上下文。缺少这些上下文,作为数据中心网络安全基石的网络分段便无法感知租户信息。用于暴露必要租户上下文的常见方法,要么大量占用AI工厂的高价值算力,要么降低网络路径性能,导致服务时延、带宽或并发能力无法满足要求。我们因此陷入一种看似必须二选一的困境:要么高效利用AI工厂的高价值资源,要么实现租户与网络的合理集成。

在公有云基础设施中,经过编排的多租户网络设计是云区域内所有服务的基础,并通过虚拟私有云(VPC)实现。这种虚拟化网络分段对安全和资源计量至关重要。公有云提供商依靠网络软件开发团队以及包括SmartNIC和数据处理单元(DPU)在内的专用网络硬件来维持这一功能。公有云中的AI工厂集群旨在利用底层基础设施的VPC网络编排能力。维护VPC的成本相当高,但这项功能是公有云业务模式的核心。

问题随之而来:组织如何在无需达到公有云提供商同等投入水平的情况下,充分发挥AI工厂投资的价值,并动态调度GPU和计算资源?

行业在这一进程中的第一步,是利用服务器虚拟化创建虚拟机(VM)。虚拟机通过硬件直通连接到分段的数据中心网络。如果只涉及单个AI集群中的单个租户,只需将所有虚拟机置于相同的VLAN中,即可照常运行。

虚拟机也可用于GPU分区,因为GPU供应商支持将GPU设备细分为多组核心和内存,再分配给特定虚拟机。不过,GPU设备分区无法动态进行,需要重启虚拟机。此外,这种设计限制了构建可对多个租户的使用量进行计量的GPU资源池的能力。这些都是该方案的显著不足。

使网络分段与多租户AI工厂集群相匹配

当AI工厂集群不再仅为单个租户提供服务时,会发生什么?问题会转移到数据中心。在AI工厂集群中,默认情况下,所有流出集群并进入数据中心的网络流量都会经过源网络地址转换(SNAT),其源IP地址会被转换为发起网络请求的容器化工作负载所在集群节点的IP地址,从而掩盖真实来源。随后,这些流量便以该节点所部署的网段为来源。对于多租户集群,这意味着租户上下文丢失,多个租户的出站流量混杂在一起,无法区分来源,也无法实施安全防护、故障排查或审计。

节点流量混杂示意图

默认情况下,出站流量中的集群租户上下文会丢失。

纳入入站流量后,这一问题会更加突出。入站流量来自已完成分段的数据中心,因此可能更易于管理,但如何将单个租户的入站流量与其出站流量关联起来?答案与检索增强生成(RAG)和智能体服务密切相关,这些服务会进行大量通信,以获取外部数据并使用外部服务。因此,无论是为客户排查问题,还是为通过安全审计而开展工作,都需要平台工程师与网络运维团队跨团队协作。

企业可能会问:“为什么不能直接使用软件定义网络(SDN)叠加技术,像超大规模云服务提供商那样构建VPC网络呢?”这当然可行,但成本会转移到维护现有数据中心基础设施之上的SDN VPC网络上。如果需要二层(例如VxLAN)分段,难点就变成了如何通过机架顶部交换机编排隧道,以及如何配置这些交换机以匹配网络分段。这正是超大规模云服务提供商选择SmartNIC并转向主机到主机级别编排的原因,让数据中心网络保持高速,而无需具备智能处理能力。

大多数组织缺乏网络编程人才,或不愿自行负责如此复杂的主机级编排,又或者根本无法放弃保障服务质量所需的骨干网络可见性。针对这些问题提出的第3层(例如IP)路由解决方案,使网络团队走上了这样一条路:将每个AI集群节点都配置为数据中心的动态路由(BGP)对等体,并试图通过多个路由反射器提供基本的IP子网租户隔离。这同样使运维人员面临极其复杂的路由问题和安全审计,并且已经导致过整个区域的服务中断。

面向AI工厂的集群感知型编排式网络分段

AI工厂必须规划采用网络功能丰富、可编程、安全且低延迟的解决方案,并支持带宽和并发能力扩展。必须将集群内部的第2层(例如VLAN、VxLAN)和第3层(例如子网、IPSEC接口)租户上下文呈现到AI工厂网络中。必须为NetOps提供可观测性指标、日志和调试工具。

传统上,这类应用租户管理和可见性解决方案大多由F5 BIG-IP提供。F5 BIG-IP Container Ingress Services (CIS)可动态发现Kubernetes服务,并以虚拟服务器的形式将其暴露给数据中心。BIG-IP管理员在配置物理服务器和虚拟机的对外呈现方式时,已熟悉虚拟服务器这一配置对象。虽然BIG-IP确实满足了我们对解决方案的许多要求,但它并不管理从AI集群流向AI工厂网络的出站流量,而这种管理是维持网络分段所必需的。

为解决这一问题,我们设计了F5 BIG-IP Next for Kubernetes,这是一款基于我们的下一代平台BIG-IP Next构建的多租户计算集群解决方案。

node-grey-soup示意图

BIG-IP Next for Kubernetes使NetOps能够将集群租户与网段关联。

BIG-IP Next for Kubernetes完全通过Kubernetes控制平面进行管理,支持Kubernetes管理身份验证以及针对所有已声明资源的RBAC,并通过命名空间识别Kubernetes租户,以支持入站和出站流量所需的网络分段。这对于AI工厂等编排优先架构至关重要。

BIG-IP Next for Kubernetes让NetOps能够以简化的方式声明Kubernetes命名空间与网段之间的映射关系。AI工厂网络与BIG-IP Next实例之间的动态路由对等互联采用熟悉的路由配置语法。NetOps团队具备特有的能力,可安全地对集群入站和出站的实时网络流进行故障排查。SecOps团队可获得针对每个集群租户的入站和出站防火墙访问控制列表(ACL)、分布式拒绝服务(DDoS)防护及IPS功能。

对于平台工程团队,BIG-IP Next for Kubernetes通过卸载数据入站和出站流量处理、源NAT及防火墙等网络功能,减轻计算资源负担。这有助于降低运营成本,同时保持服务的可用性和高效运行。

BIG-IP Next for Kubernetes还支持Kubernetes Gateway API,这是首个针对NetOps、平台工程、DevOps和MLOps中特定组织角色建模的社区入口API。通过Gateway API,BIG-IP Next for Kubernetes将典型的基于第4层端口或第7层HTTP(S)路由的入口服务扩展为面向DevOps和MLOps的一组服务,即TCPRoute、UDPRoute、HTTPRoute、TLSRoute和GRPCRoute。这些服务均通过主流AI框架中的同一套CI/CD自动化机制进行控制。

从管理角度看,BIG-IP Next for Kubernetes通过Kubernetes API声明,让NetOps、SecOps、平台工程、DevOps和MLOps团队保持高效协作。它以Kubernetes的方式提供您期待的BIG-IP各项能力,同时支持网络分段。

DPU的兴起

数据处理单元(DPU)在AI工厂中的应用呈指数级增长。正如AI工厂系列此前的一篇博文所述,DPU是一种可编程处理器,旨在通过硬件加速,以网络线速执行海量数据传输与处理。通过F5的产品创新以及与NVIDIA的合作,我们推出了BIG-IP Next for Kubernetes,使用NVIDIA的DOCA API将其部署到NVIDIA BlueField-3 DPU上,以卸载入站和出站流量的数据流,同时支持网络分段和安全功能。这确保了AI集群获得充足的数据供给,从而充分发挥AI工厂的投资价值。

由F5赋能的AI工厂

投资AI工厂时,必须确保基础设施经过优化、高效且可扩展。部署在NVIDIA BlueField-3 DPU上的F5 BIG-IP Next for Kubernetes可提供动态GPU和计算资源调度所需的网络分段,同时提供高性能扩展能力,充分提升AI投资回报。如需了解更多信息,请联系F5,与您的F5客户经理以及解决方案工程师或架构师沟通。


想进一步了解AI工厂?欢迎阅读AI工厂系列博客中的其他文章:

分享

关于作者

John Gruber
John Gruber服务提供商高级架构师 | F5

John Gruber 的更多博客文章

相关博客文章

F5纪念2021年世界艾滋病日
F5生态系统 | 2021/12/01

F5纪念2021年世界艾滋病日

值此世界艾滋病日,F5郑重承诺,将与员工、客户、社区和合作伙伴共同努力,消除社会对HIV感染者仍然存在的污名与偏见。

Thingbot正转变为攻击平台
F5生态系统 | 2018/11/29

Thingbot正转变为攻击平台

Lori MacVittie重点介绍了F5 Labs对2018年1月至6月全球物联网设备攻击的研究,并指出了其中令人警醒的影响。物联网设备不仅持续遭到利用,还被转变为攻击平台,这意味着攻击者可以更充分地利用这个必然增长的市场。

借助F5全新Quick Start,在AWS上快速开展业务
F5生态系统 | 2018/11/20

借助F5全新Quick Start,在AWS上快速开展业务

在AWS re:Invent开幕前,我们很高兴与大家分享F5与AWS之间全新的Quick Start集成。F5的Tom Atkins将介绍该服务如何启动、配置和运行在AWS上部署工作负载所需的计算、网络、存储及其他AWS服务。

为什么声明式模型对NetOps自动化至关重要?
F5生态系统 | 2018/04/30

为什么声明式模型对NetOps自动化至关重要?

为什么声明式模型对NetOps自动化至关重要?阅读F5博客,了解基础设施即代码如何简化网络扩展。

开源聚焦:F5基础设施即代码与多云可管理性
F5生态系统 | 2017/11/16

开源聚焦:F5基础设施即代码与多云可管理性

开源聚焦:基础设施即代码与多云。阅读博客,了解模板和Terraform如何简化F5应用服务的部署。

破解IT“无解困局”的答案:私有云
F5生态系统 | 2016/09/12

破解IT“无解困局”的答案:私有云

破解IT“无解困局”的答案:私有云。阅读F5博客,了解本地部署的敏捷性如何化解安全与速度难以兼顾的问题。