关于Office of the CTO的博客文章
关于Office of the CTO的博客文章(223)
AI成本与安全问题，关键在于路由
路由支持GPU成本管控、提示词和出站流量管控，以及数据驻留，但许多组织对多模型路由的重视程度仍低于“成本”或“安全”。
作者：Lori Mac Vittie
歪打正着：API数量势不可挡地增至20亿
过去，API蔓延的规模受限于人工操作。如今，AI智能体可以自主创建和串联端点，推动AI相关API调用和集成快速增长。
作者：Lori Mac Vittie
模型路由为何可能成为安全基础设施
智能体AI暴露了身份管理的局限。通过专用模型与基于策略的路由，将权限与模型选择绑定，从而缩小影响范围并降低治理复杂性。
作者：Lori Mac Vittie
恶意软件包正在摧毁我们的行业
尽管AI和自动化技术加剧了供应链滥用，开源生态系统仍缺少用于登记恶意软件包的中央注册库。该生态系统需要一种可信的方式来报告和跟踪安全失陷事件。
作者：James Hendergart
AI应用交付十大问题：资源利用率低
AI会导致资源利用率大幅波动：请求成本会因提示词、上下文和推理过程而显著变化，因此仅按每秒请求数（RPS）进行路由会造成GPU负载热点、请求排队和延迟骤增。
作者：Lori Mac Vittie
AI应用交付十大要点：定制应用需求
AI让“定制化”从少数情况变为常态：请求会形成组合式调用链（模型选择、检索、策略和工具），因此交付必须针对每个请求进行调整，而不是按应用统一处理。
作者：Lori Mac Vittie
AI应用交付十大挑战：缺乏安全保障且不符合法规要求
AI将合规范围从保护传输路径和存储扩展到治理运行时行为，包括模型访问、检索上下文、输出和智能体操作，因此控制措施必须更贴近推理环节。
作者：Lori Mac Vittie
AI应用交付十大问题：交付策略不兼容
策略不一致会引发AI服务中断：不一致的故障转移、超时、限制和安全控制会导致软故障、结果不完整，以及不同端点产生不同结果。
作者：Lori Mac Vittie
AI应用交付十大挑战：无法应对延迟
AI使延迟不再只是性能问题，更关乎信任：缓慢的“助手”响应会让人感觉系统迟疑或出现故障，而大量使用令牌的提示词和输出即使在系统运行正常时也会增加工作负载。
作者：Lori Mac Vittie
AI应用交付十大问题：流量调度未优化
AI打破了传统流量调度的固有假设：后端并非可以互换，成本各不相同，智能体的扇出模式也难以预测。因此，路由必须考虑模型、GPU运行状况和数据本地性。
作者：Lori Mac Vittie
您的下一位SRE可能是机器
控制正集中到意图入口，即提示词、令牌和路由。架构面临的挑战是明确AI可在何处执行操作、何时必须交由其他机制处理，以及如何撤销操作。
作者：Lori Mac Vittie
AI应用交付十大风险：流量控制不足
传统的速率限制和节流机制无法反映实际影响范围。AI工作负载会扩散至多个模型、向量存储和服务，导致延迟激增、级联故障和重试。
作者：Lori Mac Vittie
AI应用交付十大问题：可观测性不完整
AI无法自行实现规模化。如果没有统一的控制平面来整合工具并打破权责边界，推理层将成为最脆弱、最依赖协调的层级。
作者：Lori Mac Vittie
规模化发展AI的秘诀在于突破康威定律的制约
AI无法自行实现规模化。如果没有统一的控制平面来整合工具并打破权责边界，推理层将成为最脆弱、最依赖协调的层级。
作者：Lori Mac Vittie
AI应用交付十大风险：缺乏容错能力和韧性
AI使传统韧性缺口的代价大幅增加：单个GPU或依赖项发生故障时，故障会沿同步推理链级联扩散，导致延迟不断累积并降低输出质量。
作者：Lori Mac Vittie
AI应用交付十大问题：薄弱的DNS实践
对于推理和智能体系统，DNS韧性对可用性和性能至关重要。解析异常会导致流量路由错误、延迟激增以及跨区域服务中断。
作者：Lori Mac Vittie
行为与边界：智能体安全转型
智能体会生成涌现式、无边界的操作序列，风险也会随时间不断累积。安全机制必须从单次请求验证转向持续的行为治理，覆盖不断演变的多步骤流程。
作者：Lori Mac Vittie
身份是智能体AI的守门人
随着智能体AI推动机器从工具转变为行动主体，身份成为核心控制机制：谁可以代表谁，在什么范围内执行操作，并在推理时以内联方式实施控制。
作者：Lori Mac Vittie
AI正在推动新型流量的出现
AI的广泛应用正在催生新的一级流量类型：推理请求，以及为控制回路提供数据的机器驱动型自动化流量和大规模遥测流量。
作者：Lori Mac Vittie
推理现已成为运营重心
多模型运维和API驱动的自动化将控制能力下沉至推理时层，包括提示词、令牌与控制、路由和内容审核；成本、风险和性能都必须在这些层面进行管理。
作者：Lori Mac Vittie
会话有粘性，上下文更难甩：推理如何“取巧”维持对话
“无状态”推理并非真正无状态，每次请求都会通过令牌携带对话状态。随着上下文增长，这种重复传输会增加带宽占用、计算开销和延迟。
作者：Lori Mac Vittie
智能体技能：新兴的开放标准
技能声明意图，但无法实施控制。真正的安全必须落实在工具边界，也就是智能体的思考转化为行动、策略得以执行的位置。
作者：Lori Mac Vittie
混合多云面临的新挑战：缺少应用交付和安全平台，运营举步维艰
企业并未放弃本地部署，而是在推进其现代化。随着应用组合持续涵盖多种环境，应用交付和安全必须从依赖特定环境的功能转向统一平台。
作者：Lori Mac Vittie
从数据包到提示词：推理为技术栈增添新层级
推理不是训练，不是实验，也不是数据科学练习。推理是生产环境中的运行时行为，其运作方式类似于应用层。
作者：Lori Mac Vittie
压缩不再只关乎速度，更关乎思考的成本
在AI时代，压缩不仅能节省带宽，还能降低“思考”成本。了解提示词压缩、输出压缩和模型压缩如何帮助控制AI推理成本。
作者：Lori Mac Vittie
效率陷阱：令牌、TOON与真正的可用性问题
AI领域正日益重视令牌效率，但代价是什么？了解TOON和自然语言模板等格式如何在性能、可靠性与正确性之间取得平衡。
作者：Lori Mac Vittie
唯有可编程性，才能让控制能力在AI规模下持续发挥作用
了解为何数据平面和控制平面的可编程性对于扩展和保护AI驱动型系统至关重要，以及它们如何在快速变化的环境中确保实时控制。
作者：Lori Mac Vittie
借助F5 Distributed Cloud CE，在Equinix边缘终结多云混乱
借助Equinix和F5 Distributed Cloud CE简化多云安全。集中管理安全边界、降低成本，并通过边缘驱动的WAAP提升性能。
作者：Lori Mac Vittie
推理的影响：API、DPU与上下文混乱
AI推理正在重塑基础设施，推动API数量激增、加重计算负载，并使上下文管理更加复杂。了解为何更智能的架构和运行时策略至关重要。
作者：Lori Mac Vittie