别样的多元宇宙：多模型与多模态集成

F5 Newsroom Staff

如何将多模态AI模型和/或多个模型安全地集成到现有数字基础设施中，正成为企业在探讨为何、何时以及如何部署生成式AI（GenAI，包括大语言模型［LLM］）时面临的一项重要议题。许多组织已经部署了至少一个GenAI模型；一项 近期调查显示，这一比例接近15%。但更多组织将部署推迟了3至12个月，其余组织仍在讨论是否要将LLM引入自身系统。

即使只部署一个单模态语言模型（例如ChatGPT-3.5或其他模型），在用于内容生成、摘要、分析和翻译等文本任务时，也能大幅提升效率和生产力。然而，引入多个模型，或引入使用或生成非文本内容的模型，相当于在创意领域发挥“力量倍增器”的作用，因此需要采用不同的策略。

多模态？多模型？

部署多个AI模型的组织可能面临多种不同的应用场景。有些组织可能希望利用多个大型公共LLM的能力，例如同时使用BERT和Gemini，而不是二选一；除此之外，还有许多其他选择。

ChatGPT推出仅一年多，就涌现出许多新的模型类型，包括：

• 面向特定市场的专用模型，例如金融、法律、制药和零售
• 嵌入软件即服务（SaaS）应用中的模型
• 内部构建并使用专有数据训练的内部模型
• 检索增强生成（RAG）模型，即在大型公共模型基础上添加扩展，使其能够访问更新的信息
• 小型语言模型（SML），所需算力显著降低，在某些情况下可在个人计算机上运行

这已成为AI行业内部的普遍共识：随着模型的创建、训练和维护变得更加容易、成本更低，未来几年，大型企业将在整个组织内部部署大量模型；据一些估计，数量甚至可能达到数百个。新部署的模型中，许多可能是多模态模型（例如ChatGPT的后续版本及其他模型），这意味着它们可以接收语音、文本、音频、图像、视频、代码等多种格式的查询，并以相同或不同的格式生成内容。例如，用户可以通过语音指示模型生成特定格式的内容，如图表、图像或音频片段。

风险倍增

将多个模型和多模态模型整合到组织架构中可带来显著效益，并不断拓展面向开发人员、分析师、普通用户和客户的新用例。然而，相关风险不容低估，必须在整合前加以应对。

在组织的数字基础设施中添加任何AI工具，都会立即扩大攻击面；添加多模态模型则可能使情况更加复杂。多模态模型的架构包含大量入口点，这些入口点容易被攻击者利用。

同样，如果只注重保护模型或AI系统中的部分模态而忽视其他模态，可能会导致多模态系统的安全防护出现盲区。攻击者往往会利用最薄弱的环节，无论是通过未受保护的入口侵入系统，还是将恶意代码植入模型的响应中。

随着全球各地的法规陆续生效，合规问题，尤其是如何确保数据隐私，已成为AI安全团队面临的一大难题。需要保护的数据不再仅限于文本记录，还包括数字图像、音频文件、视频、扫描件、指纹、X光片、MRI影像、用于语音确认的声纹，以及高度专业化的科学内容。

所有这些数据都可能在数据泄露事件中暴露，也可能遭到篡改和出售，被用于恶意用途，包括制作深度伪造内容。 将各种模态集成到现有数字基础设施中也会带来互操作性等挑战。不同技术和协议必须无缝协同，而一个错误配置或漏洞就可能危及整个系统的安全。

修复此问题可能需要投入大量资源，还可能引发延迟等模型性能问题，并且可能需要额外的硬件。如果管理不当，这些硬件本身也可能带来安全漏洞。

AI安全解决方案

由于AI使用方面缺乏标准化实践，要在用户环境中确保一致的安全性变得更具挑战。不过，AI安全领域正不断涌现新的解决方案，可提高部署的安全性，从而增强对风险规避型组织的吸引力。

我们的模型无关型GenAI安全解决方案率先为AI系统提供全方位保护。我们的运行时安全解决方案采用“无负担”的信任与控制层，该层位于基础设施外部并紧邻基础设施，可保护组织免受隐藏在AI模型响应中的威胁及其他外部威胁。它可确保包含破坏性指令或隐私信息的提示不会离开系统，同时不会给处理过程带来延迟。 

管理员可以使用 基于策略的访问控制，按用户和团队授权或阻止对模型的访问，从而： 

• 通过限制可访问模型的人员，支持成本监控
• 支持部署速率限制，防止模型拒绝服务（DoS）攻击导致系统变慢或关闭
• 支持根据各团队的需求设置可自定义的扫描器标准，从而更好地遵守公司的可接受使用政策

我们的解决方案还为安全团队提供对系统中所有AI工具的全面 可观测性 ，使其能够了解模型的使用方式，并确保模型不会遭到误用或滥用。同样，管理员也可以查看用户和群组的使用模式及行为。系统会跟踪并保留每次模型交互，以供审查和分析，从而深入了解用户行为。提示词历史记录可手动或自动清除；管理员也可以选择不保留任何提示词以供审查。交互式仪表板可按管理员设定的时间范围，提供有关模型、个人用户和群组的各种详细使用数据。

将多个多模态生成式AI模型集成到现有数字基础设施中，带来的机遇、风险和挑战大致并存。同时实施网络安全和AI安全实践，是组织维持正常运营并保护人员、资产和流程免受AI驱动风险影响的理想选择。

点击 此处申请演示。

关于作者

F5 Newsroom Staff

F5 Newsroom Staff 的更多博客文章