使用入口控制器扩展、保护和监控 Kubernetes 中的 AI/ML 工作负载

人工智能和机器学习 (AI/ML) 工作负载正在彻底改变企业的运营和创新方式。 Kubernetes是容器编排和管理的事实标准，是支持混合多云环境中可扩展大型语言模型 (LLM) 工作负载和推理模型的首选平台。

在 Kubernetes 中，Ingress 控制器在交付和保护容器化应用方面发挥着至关重要的作用。 它们部署在 Kubernetes 集群的边缘，作为处理用户和应用之间通信的中心点。

在这篇博客中，我们探讨了 Ingress 控制器和适用于 Kubernetes 的 F5 NGINX 连接堆栈如何帮助简化和精简 AI/ML 工作负载的模型服务、实验、监控和安全性。

大规模部署生产中的 AI/ML 模型

大规模部署 AI/ML 模型时，开箱即用的 Kubernetes 特性和功能可以帮助您：

• 加速并简化 AI/ML应用发布生命周期。
• 实现不同环境中 AI/ML 工作负载的可移植性。
• 提高计算资源利用效率和经济性。
• 提供可扩展性并实现生产准备。
• 优化环境以满足业务 SLA。

与此同时，组织可能会面临大规模生产中提供、试验、监控和保护 AI / ML 模型的挑战：

• 日益增加的复杂性和工具泛滥使得组织难以在本地、云端和边缘配置、操作、管理、自动化和排除 Kubernetes 环境故障。
• 由于动态事件（例如 pod 故障和重启、自动扩展和极高的请求率）导致的连接超时和错误，从而导致用户体验不佳。
• 由于聚合报告和缺乏细粒度、实时和历史指标，导致复杂的 Kubernetes 环境中的性能下降、停机以及故障排除速度变慢、难度加大。
• 由于传统安全模型并非设计用于保护松散耦合的分布式应用，因此混合多云 Kubernetes 环境中面临巨大的网络安全威胁风险。

F5 NGINX Ingress Controller等企业级 Ingress 控制器可以帮助解决这些挑战。 通过利用一个结合了 Ingress 控制器、负载均衡器和 API 网关功能的工具，您可以实现更好的正常运行时间、保护和大规模可见性——无论您在哪里运行 Kubernetes。 此外，它还降低了复杂性和运营成本。

NGINX Ingress Controller 还可以与F5 业界领先的第 7 层应用保护技术紧密集成，该技术有助于缓解LLMapplications的 OWASP Top 10 网络威胁，并保护 AI/ML 工作负载免受 DoS 攻击。

入口控制器对 AI/ML 工作负载的优势

Ingress 控制器可以通过以下功能简化和精简生产中 AI/ML 工作负载的部署和运行：

• 模型服务——利用 Kubernetes 原生的负载均衡、自动扩展、速率限制和动态重新配置功能无中断地交付应用程序。
• 模型实验——实施蓝绿和金丝雀部署以及 A/B 测试，以在不停机的情况下推出新版本和升级。
• 模型监控——收集、表示和分析模型指标，以更好地了解应用程序的健康和性能。
• 模型安全——配置用户身份、身份验证、授权、基于角色的访问控制和加密功能，以保护应用程序免受网络安全威胁。

适用于 Kubernetes 的 NGINX 连接堆栈包括NGINX Ingress Controller和F5 NGINX App Protect ，用于在运行 AI/ML应用的 Kubernetes 集群与其用户（本地和云端）之间提供快速、可靠和安全的通信。 它有助于简化和优化任何 Kubernetes 环境中的模型服务、实验、监控和安全，增强云提供商和预打包的 Kubernetes 产品的功能，并具有更高程度的保护、可用性和可观察性。

开始使用适用于 Kubernetes 的 NGINX 连接堆栈

NGINX 提供一套全面的工具和构建块来满足您的需求并增强 Kubernetes 平台的安全性、可扩展性和可见性。

您可以立即开始申请Kubernetes 连接堆栈 30 天免费试用版。