某金融服务公司确保可靠交付AI数据

一家欧洲知名资产管理公司在付出代价后认识到，仅靠对象存储无法承载AI工作负载的并发需求。一次客户端配置错误引发拒绝服务事件后，该公司部署了F5解决方案，以确保为AI模型训练提供可靠、可扩展的高性能S3数据交付。

挑战

一家在金融服务和房地产领域拥有强大业务基础的欧洲资产管理公司正在大力投资AI。该公司的数据科学团队使用存储在Dell Elastic Cloud Storage (ECS)中的大型数据集训练模型。Dell Elastic Cloud Storage (ECS)是一种兼容S3的对象存储，AI工作负载则在Kubernetes上运行。薄弱环节在于这些工作负载与存储系统之间的连接路径。

对象存储平台旨在扩展容量，而非管控流量。数十年来，应用一直通过受控网络上的专用协议连接存储，因此无需在文件存储设备或存储阵列前端进行流量管理。S3存储改变了这一局面。如今，任何持有密钥的客户端都可以通过HTTP访问对象存储，这意味着存储前端的运行方式类似于Web服务，也可能出现同类故障。单个存储节点可处理的并发TCP连接数存在实际限制。当AI管道打开数千个并行会话来提取训练数据时，很快就会达到这些限制，而存储团队通常很难提前发现问题。

对于这家金融服务公司，一个配置错误的客户端建立了超出源站处理能力的并发连接，实际上导致公司自身的存储系统陷入拒绝服务状态。AI数据摄取因此停止。

这起事件让基础设施和存储团队明确了两点。

首先，绝不能让单个行为异常的客户端导致共享数据平台停机。尤其是在金融服务领域，可靠性不可或缺。模型训练计划、分析工作和后续业务决策都依赖数据平台持续运行。

其次，鉴于公司计划增加ECS节点以支持不断扩展的AI项目，这一问题只会进一步加剧。要继续推进，就必须在存储边界实施严格的工程管控，并设置一个控制点，在S3流量到达存储节点之前对其进行整形、均衡和保护。

解决方案

该公司评估了多种潜在解决方案，包括HAProxy和Kemp Technologies提供的方案，但发现这些方案在针对S3协议的应用交付功能方面存在局限。

早期的价值验证演示成为决策的关键，展现了F5解决方案在与ECS顺畅集成的同时，应对会话持久性等S3协议挑战的能力。Dell是该公司与F5共同的技术合作伙伴，通过推动F5解决方案与ECS基础设施协调适配，并倡导采用联合架构，发挥了关键作用。

最终，这家金融服务公司选择了F5，并部署了4台运行BIG-IP Local Traffic Manager (LTM)的F5 rSeries r5600设备，作为ECS存储前端的专用交付层。

该部署采用经过验证的参考设计，既降低了风险，也为AI基础设施的逐步成熟提供了演进路线。由此形成的双数据中心主动/主动架构经过有意简化。该架构利用动态路由机制，在不依赖DNS的情况下实现横向扩展和高可用性。现在，Kubernetes托管的AI工作负载发出的每个S3请求都会先经过BIG-IP LTM，再访问存储。仅这一项设计决策就解决了最初的故障模式，并为后续扩展奠定了基础。

成果

连接池直接解决了并发问题，因此引发此项目的事件不会再次发生。BIG-IP-LTM可管理大量客户端TCP连接，并将其整合为数量更少且受控的服务器端连接，以连接ECS节点。它还会实施连接管控，避免单个配置错误或行为激进的客户端耗尽存储节点的资源。即使某个客户端行为异常，ECS平台仍可供所有团队使用。

实现可衡量的性能提升

一致性URL哈希可实现智能而非随机的请求分配。对相同对象的请求会以可预测的方式定向到ECS集群中的不同节点，从而提高缓存利用率、避免热点，并在添加存储节点时保持吞吐量稳定。

此外，使用Mongoose存储性能测试工具进行的内部性能测试表明，在数据路径中实施F5解决方案后，处理后的输入和输出性能提升了500%。通过优化TCP连接、复用服务器端请求并利用动态路由，该平台可立即提升高要求AI工作负载的吞吐量。

无需重新设计架构，即可扩展AI项目

随着AI应用不断扩大，该公司计划扩展其ECS环境。由于BIG-IP LTM将存储端点抽象到单个虚拟地址之后，该公司可以通过添加节点来扩展ECS部署规模，而无需更改应用配置或中断工作负载。这样一来，解决可靠性问题的架构也能支持业务增长。

将存储转变为架构化服务

在存储系统前部署专用的应用交付层，有助于遵循良好的工程实践。这样可以在一个位置统一观测、均衡和管控流量，避免形成由客户端直接访问节点且缺乏管理的紧耦合网状结构。对于存储架构师而言，这意味着节点行为可预测，容量规划更清晰。对于首席信息官而言，这意味着AI数据平台是一个经过良好工程设计的系统，而不是点对点连接的简单堆积。

携手合作，推进AI数据交付

F5与Dell持续针对这类工作负载开展联合工程设计，将BIG-IP LTM流量管理与面向AI管道的S3兼容对象存储相结合。其他企业可以从中认识到，S3对象存储是一项Web服务，AI工作负载会像对待其他Web服务一样对其施加压力。在存储前端部署专用应用交付控制器，可将直接暴露的源站转变为有效实施AI所需的弹性数据管道。