Sentient.io借助F5 Distributed Cloud Services推动AI普及

总部位于新加坡的AI和数据平台提供商Sentient.io正推动各种规模的企业应用AI。F5 Distributed Cloud Services帮助Sentient.io简化分散在各地的运营,降低运营成本,同时支持在边缘进行实时AI处理。

业务挑战

Sentient.io作为AI创新者,取得了显著成就。为实现以变革性AI解决方案赋能各行各业的愿景,Sentient.io致力于提供实时洞察,助力高效决策。该公司的AI解决方案正在推动行业变革,帮助企业释放AI的变革潜力。旗下的Sentient Marketplace汇聚了创新AI服务,让企业能够轻松地将AI融入现有工作流程。Sentient Marketplace帮助东盟各国家/地区及日本的客户利用AI的力量。

然而,业务快速增长和客户群不断扩大也带来了若干复杂挑战,具体而言,就是多云环境的复杂性以及传统云原生处理方式的局限性。在跨多个云服务提供商运营时,采用各提供商各自的解决方案会面临固有挑战。例如,每家提供商都提供专有的Kubernetes发行版(如GKE或AKS),对于需要在相应云环境中使用这些平台的组织而言,这可能是一项艰巨的任务。

在客户站点部署AI模型的过程十分繁琐,进一步加剧了这些挑战。手动下载模型、为每个边缘站点搭建本地Kubernetes环境以及手动更新,不仅耗时,而且容易出错,导致模型部署延迟且部署结果不一致。此外,将新模型从中央Sentient Marketplace同步到客户站点的过程高度依赖手动操作,进一步加剧了各客户站点的运营低效问题。

随着Sentient.io的AI应用逐渐获得客户认可,该公司意识到,在本地、公有云和私有云等分布式环境中运营和部署这些服务面临诸多挑战。这延长了其产品和服务实现价值的周期,增加了运营复杂性,也导致工作流编排和安全策略不一致。此外,他们一直未能找到一种可在任意云环境中安全部署和交付AI应用的解决方案。

解决方案

Sentient.io认识到需要采用更精简、高效的方式,因此与F5合作,利用F5 Distributed Cloud Services为各行业客户提供开箱即用的企业级“AI即服务”解决方案,帮助客户释放AI的业务潜力。

“F5 Distributed Cloud Services的价值就在于,它不仅为AI提供强大支持,更是我们保障数据安全的秘密武器。 ”

Christopher Yeo,Sentient.io首席执行官

F5 Distributed Cloud App Stack是他们在平台上启用的关键服务,用于在边缘实时处理数据。Distributed Cloud App Stack可将本地化推理数据交付至更靠近应用的位置,减少获取推理数据时对互联网或移动链路的依赖。

Distributed Cloud App Stack统一了其应用环境,使其无需再管理多个Kubernetes发行版,并简化了关键AI服务的部署和管理流程。这种简化带来了多项运营改进,让Sentient.io能够更高效、更轻松地跨任意云提供商部署AI模型。

Sentient.io首席执行官Christopher Yeo表示:“F5 Distributed Cloud App Stack改变了我们向客户交付AI基础设施的方式。在边缘处理数据带来了实时洞察,让客户无论面对多大的数据量、身处何地,都能即时作出明智决策。这一转变为我们的业务带来了革新,让我们走在AI创新的前沿。”

展望未来,Sentient.io还计划探索使用F5 Distributed Cloud Services来保护其LLM解决方案。Yeo表示:“与F5的合作经历让我们有信心探索使用F5 Distributed Cloud Web Application and API Protection(WAAP),全面保护我们的LLM服务,并缓解拒绝服务、敏感信息泄露等LLM威胁。”

借助F5,Sentient.io能够帮助寻求创新AI/ML解决方案的企业更快实现价值。

成果

统一的PaaS平台

F5 Distributed Cloud Services消除了管理多个云环境的需要,简化了运维并提高了效率。这使Sentient.io能够更灵活地跨多个云提供商部署AI模型,并提升可扩展性。

“借助F5 Distributed Cloud App Stack,我们的AI交付方式发生了显著转变。这一转变为我们的业务带来了深刻变革,让我们走在AI创新的前沿。 ”

Christopher Yeo,Sentient.io首席执行官

边缘实时洞察

该解决方案简化了Sentient的运营,降低了延迟,并实现了边缘端的实时AI处理。在边缘端执行推理消除了地理位置带来的网络和带宽限制,确保推理结果实时、即时地传递给应用。这种模型部署方式的转变使Sentient.io能够为客户提供高性能AI应用,并缩短价值实现时间。

Distributed Cloud App Stack内置GPU功能,减少了Sentient在各个推理站点部署额外GPU资源的需求。

降低成本,增强安全性

通过将运维工作整合到Distributed Cloud Platform,他们得以优化资源分配并降低整体运维成本。该平台原生集成并支持应用和API安全功能,确保了所有推理应用均受到保护。

此次合作还显著节省了成本。管理多个云平台需要专门的团队,并产生大量资源成本。借助F5 Distributed Cloud Services,Sentient简化了运营,通过优化资源和简化应用管理降低成本,从而腾出资源用于战略举措。

Yeo表示:“F5 Distributed Cloud Services不仅为AI提供强大支持,也是我们保障数据安全的秘密武器。这一切的核心在于信任。有了F5,Sentient.io不仅在持续创新,也在切实保障数据隐私和完整性。”

查看所有客户案例

Sentient.io借助F5 Distributed Cloud Services推动AI普及 标志

优势

  • 一致的AI服务编排工作流
  • 简化数千个边缘站点的运维
  • 安全交付用于推理的训练数据
  • 缩短AI部署的上市时间

挑战

  • 多云环境的复杂性增加
  • AI数据交付工作流不一致
  • 确保分布式AI基础设施的安全