人工智能安全学习资源
AI安全已成为组织网络安全的重点。随着AI技术不断发展，组织必须优先实施稳健的风险管理，并在敏感数据的整个生命周期内加以保护。必须在应用遭到入侵之前识别并缓解漏洞。通过下方F5提供的丰富资源，了解如何管理安全风险，并增强AI应用抵御网络威胁的韧性。
什么是AI安全？
AI安全是指保护AI模型、应用、智能体和API，使其免受恶意攻击、数据泄露及其他未经授权行为的实践。AI安全通常采用多层防护方法，包括过滤AI系统的输入和输出、设置防护机制，以及在攻击发生前发现并修复漏洞。
在保护AI系统的同时，组织还可以将AI能力融入网络安全。例如，使用机器学习（ML，一种AI形式）的网络安全工具可以通过识别异常行为和自动执行响应来增强威胁检测能力。
AI API安全
保护API是保障与AI模型交互的应用安全的第一步。了解如何防止应用遭受未经授权的访问、数据泄露和滥用。
生成式AI网络安全风险
了解生成式AI技术特有的漏洞和风险，并掌握如何缓解这些新兴威胁。
机器学习安全
深入了解如何保护机器学习模型及相关数据，防范模型窃取、模型破坏及其他大语言模型（LLM）威胁。
AI推理
了解如何保护和优化AI推理流程，确保输出具有韧性和安全性。保护数据安全，防止AI模型遭到操纵或滥用。
AI攻击与威胁缓解
了解常见的AI攻击途径，以及如何实施有效的缓解策略，以保护敏感数据和应用。
AI应用与创新
了解如何在兼顾创新与必要安全措施的同时，将AI安全地集成到业务中，确保以负责任的方式实施AI。
常见问题
传统Web应用安全与生成式AI安全有何区别？
传统Web安全保护确定性的应用代码、固定的API端点和结构化数据库。生成式AI安全保护将自然语言同时作为输入和执行代码进行解读的概率模型。与典型的Web应用威胁不同，用户输入可能与恶意指令混杂在一起，因此生成式AI安全防护可能更为困难。
如何防范企业级LLM中的提示词注入攻击？
当攻击者在用户输入或第三方来源中插入恶意指令时，就会发生提示词注入。企业应采用纵深防御方法，包括实施防护机制、开展红队测试（以便及早发现并修复漏洞），以及过滤输入和输出。
自主式或智能体AI面临哪些主要安全风险？
根据开放式Web应用程序安全项目（OWASP），AI智能体面临的三大安全风险是目标劫持、工具滥用和身份滥用。目标劫持是指攻击者操纵智能体，使其转而执行未经授权的目标。工具滥用是指攻击者诱使智能体选择错误的工具，或以非预期方式使用工具。身份滥用是指攻击者利用有效权限执行恶意操作。
组织应使用什么框架来管理AI安全漏洞？
美国国家标准与技术研究院（NIST）的AI风险管理框架（AI RMF）可帮助组织以负责任且安全的方式设计、部署和治理AI系统。这是一套结构化的自愿性蓝图，重点涵盖AI治理、漏洞梳理、安全性衡量和AI风险管理。
什么是影子AI，组织应如何管控？
影子AI是指员工在未经IT或安全团队批准或监督的情况下，使用未经授权的AI工具。为管控影子AI，组织需要采用能够洞察加密流量、将流量路由至检测工具，并通过精细策略允许或阻止流量访问特定工具或网站的解决方案。