在企业中部署LLM：SaaS框架

F5 Newsroom Staff

在整个企业范围内部署生成式人工智能（GenAI）模型，尤其是大语言模型（LLM），对任何组织而言都是一项高风险、高回报的机遇，在未采取额外防护措施或未实施AI安全协议的情况下尤其如此。 贵组织需要周密规划，才能确定如何迈出进军GenAI领域的这重要一步。

贵组织或许适合通过提供商以软件即服务（SaaS）模式访问AI模型，从而避免配置或安装问题。也可以考虑将模型部署在贵组织的私有云或自有系统中，以便自主控制API配置和管理。

本系列共包含三篇博客，将探讨“如何部署？”这一问题：贵组织应如何在整个企业范围内部署LLM，以尽可能提高投资回报？每篇博客都将介绍一种常见部署框架的优势和不足，帮助您结合公司的组织架构、业务结构和具体业务需求进行评估。 

SaaS的定义

从IT团队的角度来看，SaaS（即按需软件）框架可以说是部署大语言模型（LLM）最简便的方法，因为用户可通过互联网使用软件。繁重的工作由提供商负责，包括维护硬件、模型、运行模型的代码以及模型使用的数据。虽然使用SaaS框架部署LLM看似各方面都很理想，但并非适合所有组织。贵组织在考虑采用SaaS部署方式时，需要权衡以下5项主要优势和5项主要不足。

优势

快速部署，缩短价值实现时间：由于应用已在云端完成安装和配置并可供使用，因此可以快速、轻松地设置SaaS解决方案并投入运行。将LLM作为SaaS解决方案部署，意味着无需新增或改造任何基础设施，即可将模型集成到组织的运营中。

财务和运营效率：通常，LLM采用订阅模式，无需任何专用硬件或软件，因此不需要大量前期资本支出，并有助于简化资源管理。系统更新和部分安全工作由服务提供商负责。

轻松扩展和集成：以SaaS解决方案形式提供的LLM让组织无需大幅增加投资，即可灵活适应和调整以满足用户需求。灵活的订阅选项较为常见，可与组织现有能力集成的插件种类也在不断增加。

支持便捷访问与协作：只要有互联网连接，用户无论身处何地，都可以通过任何联网设备上的任意Web浏览器访问LLM，从而支持跨团队、跨时区持续协作。部分LLM允许用户有限或完整地访问自己的搜索历史记录，以便查阅。

易于使用，只需少量培训或无需培训：大多数LLM的用户界面与搜索引擎类似，因此用户会感到非常熟悉。一些提供商允许用户根据具体任务选择所需的LLM版本。此外，一些LLM支持“对话式”交互，可提供与上一次查询相关的内容；另一些则将每次查询视为独立提示。

缺点

数据隐私与安全：使用LLM处理敏感任务可能会使贵组织面临数据丢失和隐私问题的风险。通过提示发送给LLM的内容可能会由提供商处理和保留，且无法保证这些内容不会被滥用或进一步传播。

自定义和控制功能有限：LLM是一项新兴技术，因此其设计旨在满足广泛用户的需求。这意味着，LLM根据组织需求或偏好提供定制化用户交互的能力仍在开发中。组织可能希望实施的安全控制或可接受使用限制尚不可用，例如禁止在提示词中包含项目名称或源代码等特定内容，这会增加组织的风险敞口。

成本增加：虽然SaaS模式通常不需要大额初始投资，但随着价格上涨或系统用户增加，订阅费用可能会逐渐上升，从而降低长期成本效益。 

延迟和性能：SaaS应用程序的运行速度通常可能比本地应用程序慢，因此必须重点考虑延迟问题，尤其是在实时使用大语言模型（LLM）的场景中，例如对话式客户服务或语言翻译应用程序。

连接性：这一问题既基础又关键。与任何基于互联网的解决方案一样，只有服务提供商的连接可靠，并具备抵御速度下降或故障的能力，才能实现可靠的LLM性能。

结论

要确定采用SaaS框架在整个企业中部署LLM是否利大于弊，需要认真评估贵组织的财务和技术资源、业务需求，以及安全或其他运营限制。

关于作者

F5 Newsroom Staff

F5 Newsroom Staff 的更多博客文章