使用 F5 和 Intel 为智能应用部署、保护和优化 AI 模型

新一代智能应用程序使用基于数据输入的人工智能自动化 - 例如，监测恶劣天气的保险应用程序 - 或者它可能使用机器学习来适应和改善用户体验。 Gartner 估计，到 2026 年，30% 的新应用将使用 AI 来驱动个性化自适应用户界面，而目前这一比例还不到 5%。² 

但许多组织缺乏构建或使用所需人工智能模型的技能。 根据世界经济论坛的一项调查，企业高管们估计，多达 40% 的劳动力可能需要重新学习技能，才能有效地与人工智能一起工作。³作为回应，新的解决方案正在出现，以允许开发人员以最少的代码利用人工智能模型。

人工智能模型还需要强大的计算能力，这可能会造成限制。 虽然将 AI 模型放置在靠近输入源的位置可以减少推理延迟，但边缘位置通常缺乏可接受的 AI 性能所需的资源。

为了解决开发人员的易用性和资源优化问题，英特尔开发了 OpenVINO，这是一个开源工具包，可加速 AI 推理，同时提供更小的占用空间和“一次编写，随处部署”的方法。 它使程序员能够用相对较少的代码行开发可扩展且高效的人工智能解决方案。 OpenVINO 还可以转换和优化 AI 模型，以便在数据中心、云端或边缘运行它们。

虽然 OpenVINO 使 AI 更适用于现实场景（例如 AI 推理），但它需要与应用一样的安全性和交付功能。 OpenVINO 部署可能由数百或数千个基于容器的模型服务器组成。 为了可靠地向用户或应用提供推理结果，您需要一种方法来监控服务器健康状况并管理流量。 F5 NGINX Plus可以保护 OpenVINO 模型服务器。

虽然可以将 NGINX 的开源版本与 OpenVINO 一起使用，但使用 NGINX Plus 可以增加高可用性、主动健康检查和屡获殊荣的支持等有价值的功能。 NGINX Plus 还提供负载均衡和 SSL 终止，以便应用程序和用户可以可靠、安全地连接到您的 OpenVINO 模型服务器。

为了提高可用性，NGINX Plus 可以部署为主动-被动对。 这创建了一个高可用性解决方案，使用主服务器主动处理流量，而备份服务器监控运行状况并在出现问题时接管。 内容缓存和 SSL 终止通过减少 OpenVINO 模型服务器上的负载来提高性能。

NGINX Plus 中的主动健康检查监控您的模型服务器，以确保流量只发送到可用的服务器。 使用 mTLS 证书保护并验证传入的加密流量，并使用分析和仪表板来预测或解决服务器问题。 NGINX Plus 的轻量级特性以及对安装、部署和调试的顶级支持使其易于满足您的 AI应用需求。