某公共安全机构借助F5保障AI数据交付安全
安全且高度可用的数据路径将机器人和无人机的传感器数据传输至存储系统,并进一步送入RAG管道,供国家公共安全技术机构使用。
自主平台持续生成视觉和传感器数据,由一家国家公共安全技术机构存储、转换并馈送至RAG服务。F5 BIG-IP r4600设备部署在该机构的Weka和VAST Data存储前端,为数据摄取路径提供安全防护和负载均衡,在边界保护数据,并确保AI应用能够可靠地使用最新数据。
业务挑战
一家国家科技机构开发先进系统,帮助一线人员保障公众安全。该机构一项颇具前瞻性的计划是开展自主机器人平台概念验证,包括部署用于支持现场作业的地面机器人和无人机。这些平台搭载计算机视觉系统、目标检测机制和传感器融合技术,从离开仓库起便持续生成图像、遥测和事件数据流。
所有这些数据都会汇集到该机构的私有云中,并通过兼容S3的接口写入基于WEKA和VAST Data解决方案构建的高性能存储系统。随后,系统会检索数据集,按需进行转换,并将其摄取到检索增强生成(RAG)服务中,为该机构的AI驱动型应用提供支持。流经这一管道的数据是否新鲜、完整,会直接影响AI的表现。在AI支持实时运营决策的环境中,这一点至关重要。数据路径出现延迟或受损绝非小问题,而是运营风险。
该机构面临的主要挑战是实施一套稳健的边界安全框架,在这些数据源到达WEKA和VAST Data存储环境之前对其进行保护。设备生成的数据从现场传入,跨越网络边界,最终进入本身并不具备防护能力的存储API。该机构需要在边缘检查并控制这些流量,对获准通过的每个数据源进行身份验证,同时避免降低数据摄取速度或中断由这些数据支持的应用。
随着项目不断扩展,存储层也必须跟上步伐。每增加一个机器人、无人机和传感器套件,都会产生更多数据流;每增加一种AI用例,另一端也会增加新的数据读取方。该机构需要为存储系统建立一个统一入口,既能保护数据流,又能随之扩展。
解决方案
该机构采用r4600“Best Bundle”配置部署F5 rSeries硬件,在WEKA和VAST Data存储集群前端构建安全且高可用的数据路径。该架构已在概念验证期间通过验证,将F5 BIG-IP Local Traffic Manager (LTM)和F5 BIG-IP Advanced WAF部署在DMZ中,以便在网络边界提供Web应用防火墙(WAF)、API网关、S3和DNS服务。随后,BIG-IP LTM将流量负载均衡至运行虚拟机、基于Kubernetes的服务和存储环境的私有云平台。
在数据平面上,BIG-IP LTM将S3对象请求智能分配到各个存储节点,以保持高吞吐量和服务可用性。它持续监控节点运行状况,并在热点导致管道停滞之前,将数据摄取流量从负载过高的节点转移出去。它在WEKA和VAST Data环境中采用一致的方式处理流量,为该机构提供一条接入异构存储的数据路径。BIG-IP LTM还通过一个稳定的统一地址对存储端点进行抽象,这对存储运维团队同样至关重要。现场机器人和数据中心的RAG服务可保持连接,同时可在该地址后添加、停用节点或重新平衡节点负载。因此,存储管理员无需等待维护时段,即可在业务运行期间启动集群。
与此同时,F5 WAF和API安全服务部署在存储系统前端的数据路径中,可在S3 API调用到达集群之前对其进行检查。访问控制已在多阶段部署的第一阶段实施,确保只有通过身份验证并获得授权的来源才能向该环境写入数据或从中读取数据。该机构的部署路线图计划将同一策略执行点扩展至AI运行时安全。随着该机构的RAG应用从概念验证逐步迈向生产环境,F5服务将检查推理流量。
由此,可在存储环境之前的数据路径中,通过单一控制点统一管理安全和流量。数据写入时受到保护,读取时保持顺畅传输。
成果
为机器人AI可靠摄取数据
地面机器人和无人机现在可通过安全且高可用的路径,将视觉、检测和传感器融合数据流式传输到存储系统。如果某个存储节点性能下降,BIG-IP LTM会绕过该节点进行路由,确保数据摄取持续进行。这些平台所依赖的AI应用可以可靠地访问所需数据,以便实时制定运营决策。
存储API的统一安全入口
WAF、API安全和访问控制服务现已集中部署在S3环境前端的单一策略执行点。每个请求在到达存储节点之前都会经过检查和身份验证,因此数据安全不再依赖所有客户端都规范运行。通过强化边界防护,存储团队不再是最后一道防线。
持续为RAG管道提供新鲜数据
借助可靠的数据摄取路径,可以从对象存储中检索数据集,完成转换并持续摄取到RAG服务中。及时更新且完整的数据可提高机构AI驱动型应用的准确性、韧性和可信度,为依赖这些应用的工作人员提供有力支持。
无需改动应用即可扩展存储
如果WEKA或VAST Data存储等高性能平台的集群前端没有应用交付层,端点变更和热点问题可能会造成严重干扰。不过,由于BIG-IP LTM对存储端点进行了抽象,该机构可以扩展WEKA和VAST Data集群,而无需重定向任何应用或现场平台。存储管理员可在稳定地址后添加节点并重新平衡数据,同时通过运行状况监控和流量引导,在集群扩展过程中为其提供保护。
AI数据交付蓝图
该机构在WEKA和VAST Data存储方面取得的成果,同样适用于任何从存储集群向AI提供数据的组织,无论使用的是通用型S3兼容对象存储,还是专为训练和推理构建的高性能数据平台。随着检索增强生成(RAG)数据摄取量增加,专用的交付和安全层可将可能难以跟上需求的存储转变为受到保护且可随时扩展的管道。随着该机构的机器人项目不断发展,其数据路径已做好准备。
优势
- 确保从现场设备到存储系统的数据采集安全
- 使用WAF和访问控制保护存储API
- 持续为RAG管道提供最新数据
- 通过一个稳定端点扩展存储
挑战
- 激增的机器人、无人机和传感器遥测数据
- 通往对象存储的暴露数据路径
- 实时决策需要可靠的数据支持