在当今快速发展的技术环境中,人工智能的部署和运营已成为企业的关键差异因素。 随着企业利用人工智能的力量来增强决策能力和效率,或利用人工智能开发差异化产品,人工智能工厂已经成为一种基础模式。 人工智能工厂的核心是检索增强生成 (RAG),它是人工智能的七个基石之一,它使人工智能输出能够感知情境、更加准确和及时。
在我们之前的 AI 工厂系列中,我们将 AI 工厂定义为满足大容量、高性能训练和推理要求的大规模存储、网络和计算投资。 在本文中,我们将讨论我们定义的两个 AI 构建块: RAG 和 RAG 语料库管理。
与传统制造工厂一样,AI 工厂旨在通过精心策划的服务器、GPU、DPU 和存储基础设施构建 AI 输出和模型。 人工智能工厂支持训练和推理,对于大规模开发人工智能应用至关重要。 然而,加入 RAG 来增强其输出的语境相关性可以释放 AI 工厂的真正潜力。
在深入研究之前,让我们先定义一下检索增强生成: RAG 是一种 AI 技术,它结合专有数据来补充 AI 模型并提供情境感知的 AI 输出。 随着应用部署变得更加分散,托管在混合和多云环境中,企业的数据无处不在。 对于那些想要释放其数据在人工智能领域的战略优势的组织来说,问题来了:我们如何连接相关数据来增强大型语言模型 (LLM) 等人工智能模型的输入? 各组织正在转向 RAG 来解决这一问题并创建从 AI 模型到分布式数据孤岛的安全高速公路。 这样就可以访问最新的信息,使得输出及时、符合上下文并且更准确。 如果没有这一点,即使是经过微调的人工智能模型也无法获得最新信息,而这些信息通常在训练完成后就会发生变化。
有哪些例子? 需要考虑的两个问题分别是:基于视觉的自动驾驶汽车,以及当 LLM 产生幻觉或根据请求缺乏上下文相关性而做出假设时。
对于自动驾驶汽车,推理必须包括基于车辆位置和周围不断变化的环境的实时数据,以便安全地在有行人、骑自行车的人和其他汽车的街道上行驶。 对于 LLM,使用客户支持聊天机器人示例,访问产品信息(如更改日志、知识库、系统状态和遥测)以及独特的客户信息(如支持票、购买历史记录和客户资料),可将通用 LLM 响应转化为有价值的输出。
混合和多云环境变得越来越复杂,存储部署也越来越多地分散在不同的位置。 在 F5,我们将这种现象称为“火球”。
在 AI 工厂的背景下,RAG 通过从矢量数据库和内容存储库中提取额外上下文,提升了基础 AI 模型的基本推理能力,然后利用这些上下文生成丰富的响应。 在 AI 工厂中,RAG 中的编排层管理 AI 模型和增强服务之间的复杂交互,确保补充数据无缝集成到 AI 工作流中。
例如,在上面提到的客户支持场景中,RAG 可以访问并整合来自各种相关数据库和来源的数据。 这会产生高度相关的 AI 输出。 通过将RAG融入AI工厂框架,企业可以提升推理响应的质量和时效性,从而推动更有效的决策和运营效率。
F5 的 AI 参考架构重点介绍了 RAG,这是成功的大规模 AI 基础设施所需的七个 AI 构建模块之一。
RAG 语料库管理专注于使用 RAG 进行推理所必需的数据提取和预处理。 这涉及一系列步骤,包括数据规范化、标记化、嵌入和填充矢量数据库,以确保内容为 RAG 调用做好最佳准备。
在人工智能工厂中,此过程从规范化各种数据格式开始,以创建一致且结构化的数据集。 接下来,生成嵌入以将这些数据转换为 AI 模型可以查询的格式。 准备好的数据被插入到矢量数据库、知识图谱和内容存储库中,以便在推理过程中可以轻松进行实时检索。 通过确保数据干净、结构化且可检索,RAG Corpus Management 提高了 AI 输出的整体有效性和精确度。 对于旨在保持高质量、情境丰富的 AI 响应的企业来说,这一过程至关重要。
RAG 语料库管理是 F5 为成功的 AI 架构定义的七个 AI 构建块之一。
虽然 RAG 是 AI 工厂的核心构建模块,但各种规模的 AI 模型部署都需要它。 鉴于基础 AI 模型(例如 GPT、Llama)是在公开信息上进行训练的,部署基础模型并不能为组织提供比部署相同模型的其他组织足够高的竞争优势。 对于任何具有任何 AI 部署规模的组织来说,通过 RAG 集成专有数据和非公开数据都至关重要,以便用其数据补充请求。 一个例子将与客户支持聊天机器人以及 LLM 驱动的支持应用程序的要求相一致,该应用程序可以访问产品和客户特定的信息以提供有用的解决方案。 即使采用训练或微调模型,也需要访问不断变化的数据才能获得更准确的输出。
随着企业不断投资人工智能以推动创新和运营效率,RAG 在人工智能工厂中的重要性怎么强调也不为过。 通过增强情境感知、准确性和及时性,RAG 确保 AI 模型提供更相关、更可靠的输出。 对于希望在数据孤岛和 AI 工厂之间建立安全集成的企业, F5 分布式云网络连接提供了现代化的高速公路 - 安全地连接专有公司数据位置,提供受限访问,简化网络,并跨区域和地区提供数据存储和移动性。
F5 对 AI 的关注不止于此——探索F5 如何随时随地保护和交付 AI 应用。
有兴趣了解更多有关 AI 工厂的信息吗? 探索我们的 AI 工厂博客系列中的其他内容: