面向AI和企业部署的可编程存储统一入口
大多数安全架构都需要做出取舍
对象存储之所以能在云中有效运行,是因为容量、吞吐量和端点可以在单一地址背后扩展,而应用无需感知。要在本地环境中实现这一点则更为困难,因为集群由固定端点背后数量有限的访问节点组成。过去用于备份和归档的存储如今还要支持模型训练、微调和RAG索引构建,因此可扩展性和韧性已不可或缺。
F5 BIG-IP弥补了这一差距。lg F5 BIG-IP作为全代理部署在S3数据路径中,使存储团队能够控制客户端解析到的端点、请求在访问节点之间的分配方式,以及故障的处理方式。BIG-IP通过以下方式动态优化、保护和路由对象存储流量:
- 通过对每个访问节点执行主动的真实S3运行状况检查,确保持续可用性。
- 在专用硬件上终止SSL/TLS连接,使存储CPU用于提供对象,而非处理握手。
- 使用专为高带宽S3工作负载调优的自定义TCP配置文件,最大限度提升吞吐量。
- 利用原生iRules,基于存储桶级别、键前缀和操作智能引导流量。
主要优势
智能负载均衡和路由S3流量
BIG-IP提供一个虚拟S3端点,并将其映射到存储团队决定部署在该端点之后的任何资源,包括新增节点、第二个集群、其他供应商的系统,或从公有云迁回的数据集。借助加权池,工作负载可以逐步迁移,无需一次性执行高风险的切换。按存储桶或键前缀引导流量,则可逐个迁移数据集。参与过S3互操作性讨论的人都知道,不同实现之间存在细微但影响重大的差异。iRules可在边缘重写寻址方式和标头,以消除这些差异,让应用无需关注由哪种实现响应请求。
通过按租户实施QoS来保持吞吐量稳定
数百个并发训练工作进程解析同一端点时,往往会集中到最先访问的节点上。由此造成的负载不均会使少数访问节点达到饱和,而其他节点却处于空闲状态;无论集群总带宽有多大,都无法掩盖这一问题。BIG-IP将并发流量分散到所有节点,复用后端连接,并通过硬件终止TLS,使存储CPU周期可用于提供数据,而非处理握手。针对持续读取大型对象以及高并发访问小型对象而调优的TCP配置文件,可使混合管道中的吞吐量保持可预测。此外,按租户实施的速率控制可防止单个高负载作业或检查点突发流量拖累其他所有工作负载,导致其低于平台衡量所依据的利用率阈值。
从容应对故障和计划内维护
BIG-IP应用级监控器会对每个节点执行实际的S3操作,并在客户端察觉任何异常之前,将运行状况不佳的成员移出轮转。这样一来,即使读写持续进行,也可以常规执行节点流量排空以更新固件、更换故障硬件或扩展集群。如果整个站点的运行状况恶化,BIG-IP DNS会将流量引导至运行状况良好的位置。由于从应用角度看一切如常,计划内存储维护不再需要召开变更咨询委员会会议,也无需召集众多应用负责人。
查看并管控每个对象请求
客户端直接连接存储桶时,存储团队除了容量图表外,几乎无法获得其他信息。作为代理,BIG-IP会记录请求者、请求内容、目标存储桶、执行的操作及其耗时。这样一来,成本分摊、审计响应和容量规划只需通过报告即可完成,无需再进行取证分析。同一代理点还可执行策略,保护S3端点和备份存储库免受API滥用、第3层至第7层DDoS、凭据攻击,以及未经授权外传耗时数月整理的数据;同时将TLS卸载到硬件,避免占用集群CPU进行加密。由于整理后的数据集会保留多年,BIG-IP如今即可在线协商混合后量子密钥交换,在“现在收集、日后解密”的风险窗口开启前将其关闭。
功能
BIG-IP可作为硬件、虚拟版本或容器部署在任何兼容S3的目标前端,无需更改存储节点。
针对S3流量优化的TCP配置文件
- 窗口缩放和缓冲区大小经过调整,可适应高带宽时延路径上的持续大对象读取
- 适用于语言和RAG数据集典型高并发小数据量读取模式的配置文件选项
- 适合长时间多部分上传会话的拥塞和空闲超时行为
- 全代理架构;客户端和存储端的TCP协议栈可独立调优
借助F5 iRules实现S3原生可编程性
- 按存储桶、键前缀、HTTP方法或S3操作进行请求导流
- 在边缘实现虚拟托管式寻址与路径式寻址之间的转换
- 金丝雀路由,在更大范围切换前使用单个数据集验证新后端
- 自定义逐请求遥测,并强制执行存储桶命名或标记约定
端点抽象
- 在多个后端前使用一个虚拟服务器和DNS名称
- 用于分阶段迁移、回迁和供应商评估的加权池
- 跨集群或层级拆分读写操作
- 直通传递时保留SigV4;转换端点时,由iRules重新签名
运行状况监控和故障转移
- 监控器会发出实时S3请求,而不只是执行TCP或ICMP检查
- 节点平滑排空、优先级组和回退池
- 使用F5 BIG-IP DNS实现多站点和多云流量调度
- 支持连接镜像的高可用性设备对
性能卸载和S3服务质量
- F5 rSeries和F5 VELOS上的硬件TLS卸载与证书管理
- 使用OneConnect复用后端连接
- 带宽控制器,可为每个工作负载类别设置有保障的带宽下限和严格的带宽上限
- 按客户端、租户或存储桶设置速率和连接数限制,使训练读取的优先级高于后台复制和恢复
多网络和双栈访问
- IPv4和IPv6双栈,并支持客户端网络与存储网络之间的转换
- 使用VLAN和路由域,在数据、备份及合作伙伴网络中发布同一个S3端点
- 在共享存储集群上按网络隔离租户和策略
- 面向多宿主集群拓扑的SNAT和self-IP控制
存储边缘安全
- F5 WAF可保护S3 API、缓解第7层DoS攻击,并提供通往备份存储库的强化路径
- F5 BIG-IP Advanced Firewall Manager,用于防御网络DDoS攻击和实施端点访问控制
- F5 BIG-IP Zero Trust Access,为数据摄取客户端提供双向TLS和机器身份验证
- 后量子就绪能力:在TLS 1.3中采用符合FIPS 203的ML-KEM进行混合密钥交换
- 按租户、存储桶和操作记录每个请求的日志,并将日志流式传输至SIEM和可观测性平台
面向工程师和架构师受众的AI架构三级视图
规格
存储目标 | 任何与S3兼容的对象存储 |
协议 | 通过HTTP和HTTPS访问S3,面向客户端支持HTTP/2、TLS 1.2和1.3,以及IPv4和IPv6双栈 |
密码学 | TLS 1.3中的混合后量子密钥交换:X25519与ML-KEM-768组合,以及符合FIPS 203的SecP与ML-KEM密码组,另含经典密码套件 |
网络集成 | 用于多网络和多宿主部署的VLAN、路由域、自身IP和SNAT池,并支持在客户端侧与存储侧之间进行IPv4到IPv6转换 |
硬件平台 | 采用刀片部署的F5 rSeries设备和F5 VELOS机箱,支持硬件TLS卸载和证书管理。 |
软件平台 | VMware、KVM、Hyper-V及主流公有云上的BIG-IP Virtual Edition |
模块 | BIG-IP Local Traffic Manager;用于多站点流量调度的BIG-IP DNS;用于保护S3 API的F5 WAF for BIG-IP;用于防御网络DDoS攻击的BIG-IP Advanced Firewall Manager;用于在数据摄取客户端上实施双向TLS的BIG-IP Zero Trust Access。 |
管理 | F5 Insight for ADSP、AS3和声明式入门配置、Terraform提供程序、Ansible集合、REST API |
部署模式 | 全代理、单臂或双臂、主用或主备部署,并提供源地址转换选项 |
高可用性 | 跨站点的设备服务集群、连接镜像和全局服务器负载均衡 |