在企业中部署LLM：通过API部署到私有云

F5 ADSP | 2023年9月06日

如果缺乏专门的防护措施或安全协议，在整个企业范围内部署生成式人工智能（GenAI）模型，尤其是大语言模型（LLM），对任何组织而言都是一项高风险、高回报的举措。贵组织究竟应如何迈出进入GenAI领域的这一大步，需要经过周密规划。

从组织层面来看，通过提供商按照软件即服务（SaaS）模式访问AI模型，或许更为合适，这样可以避免配置或安装方面的问题。另一种可能更合适的方式是将模型部署在贵组织的私有云或本地环境中，以便贵组织控制API配置和管理。

本系列博客将探讨“如何部署？”这一问题：贵组织应如何在整个企业范围内部署LLM，以尽可能提高投资回报？每篇博客都将介绍一种常见部署框架的优势和不足，帮助您结合公司的组织架构、业务结构和具体业务需求进行评估。

云和API的定义

“云”这一术语虽然广为使用，却也常被误解，因此有必要明确我们所说的“云”究竟是什么。云是由大量物理服务器组成的庞大集合，这些服务器分布在全球众多数据中心。它们承担多项业务关键功能，例如运行应用；存储或管理数据；交付社交媒体等内容；或提供流媒体服务、专用软件等服务。尽管每台服务器的功能各不相同，但它们通过网络互联，作为同一个相互依存的数字生态系统的组成部分协同运行，让个人和组织用户能够通过任何连接到互联网的设备访问文件和数据。

与此同时，应用程序接口（API）本质上是两个设备之间的连接，使其能够相互传递信息。API软件包括相关定义，用于确定设备之间传输的内容（例如，发出请求的客户端设备和发送响应的服务器设备）；还包括相关协议，用于规定信息的传输方式（例如，接收设备的URL/端点，以及请求和响应都必须使用的语法、措辞和语言）。

这样一来，最终用户无需了解系统的工作原理或原因，即可登录应用程序在网站上购买商品、预约网约车，或向大语言模型（LLM）发出查询并接收回复。API可以受到监控和保护，因此客户端设备上的数据不会完全暴露给服务器设备。

SaaS与云服务的区别

本系列的第一篇博客探讨了采用软件即服务（SaaS）框架在整个企业中部署LLM的优势和不足。基于SaaS的部署模式与基于云的部署模式在许多方面相似，两者都通过云访问所需软件，而不是在自己的系统上托管应用程序。不过，两者之间的关键区别可以归结为一个非常简单的概念。默认情况下，SaaS意味着贵组织付费访问和使用第三方软件应用程序，该应用程序托管在“云端”；而云计算意味着贵组织付费让第三方托管并提供对贵组织的数据的访问，这些数据存储在“云端”。

优势

快速部署：支持配置LLM供贵组织使用的云服务可快速完成设置，让您能够迅速开始使用该模型。

可扩展性：部署在云端的LLM可配置为根据需求自动扩缩容，无需人工干预。

降低运维开销：设置、安全、维护、更新和系统优化通常由云服务提供商负责，让IT团队及其他人员能够专注于其他任务。可访问性：只要能接入互联网，就可以随时随地通过任何设备访问基于云的LLM，为出差或远程办公的人员提供灵活性。

成本效益：云服务提供商通常采用按使用量计费的定价模式，仅对实际使用的资源收费。如果贵组织的需求存在波动，这一点可能尤为重要。贵组织无需配备大量计算资源或数据存储容量。

预训练和微调模型：AI模型会持续升级，并使用规模更大、质量更高的数据集进行训练，还可使用自定义数据集进行微调。

内置冗余：云环境中的多层冗余机制可显著降低因服务中断而导致的数据丢失风险。

缺点

延迟：“实时”的定义取决于云服务提供商所运营服务器的位置、速度和计算能力。响应时间略有延迟在某些环境中可能不易察觉，但在其他环境中可能会影响关键任务活动。

持续成本：云计算并非低成本方案。随着模型规模不断扩大、速度不断提升，计算和存储资源的成本也会相应增加。

供应商锁定：依赖单一提供商存在风险。需要重点考虑提供商的物理安全和网络安全状况及相关规程，以及服务条款或其他政策变更、价格上涨和服务终止等问题。

结论

使用基于云的服务在整个企业中部署LLM是否利大于弊，需要认真评估贵组织的财务和技术资源、业务需求，以及安全或其他运营限制。我们此前的一些博客重点介绍了如何建立内部和外部的系统性保障措施、AI治理计划，以及其他方式，帮助贵组织安全部署这些具有变革意义的工具。在探索技术领域这条新路径时，这些内容或许能为您提供帮助。