如何通过高级流量管理提升Kubernetes的韧性

NGINX | 2021年3月29日

编者按:本文是一个共10篇的系列文章中的一篇:

  1. 借助生产级Kubernetes降低复杂性
  2. 如何通过高级流量管理提升Kubernetes的韧性(本文)
  3. 如何提升Kubernetes的可见性
  4. 使用流量管理工具保护Kubernetes的六种方法
  5. Ingress控制器选型指南,第1部分:明确需求
  6. Ingress控制器选型指南,第2部分:风险与未来适应性
  7. Ingress控制器选型指南,第3部分:开源、默认与商业控制器对比
  8. Ingress控制器选择指南,第4部分:NGINX Ingress Controller选项
  9. 如何选择服务网格
  10. 动态Kubernetes云环境中的NGINX Ingress Controller性能测试

您还可以下载收录全套博客文章的免费电子书《将Kubernetes从测试推向生产》。

判断一家公司是否未能有效运用现代应用开发技术,有个很简单的方法:看它的客户是否动辄在社交媒体上抱怨。无法流畅观看新上线的热门剧集、无法访问网上银行,或是因购物车超时而无法完成购买,都会引来客户的抱怨。

抱怨“视频播放错误”的推文截图

即使客户没有公开抱怨,也不意味着糟糕的体验不会带来后果。我们的一家大型保险公司客户表示,如果其首页未能在3秒内加载完成,就会流失客户。

用户对性能不佳或服务中断的种种投诉,都指向同一个症结:韧性……或者说,缺乏韧性。微服务技术(包括容器和Kubernetes)的优势在于,可以通过增强应用的韧性,显著改善客户体验。如何做到?关键在于架构。

我喜欢用节日彩灯串来比喻单体架构与微服务架构之间的核心区别。老式灯串只要有一个灯泡坏了,整串灯就都不亮了。如果无法更换灯泡,这串灯也就只能扔进垃圾桶了。老式灯串就像单体应用,其组件之间同样紧密耦合,只要一个组件出故障,整个应用就会失效。

不过,照明行业和软件行业一样,也发现了这一痛点。如今的灯串即使有一个灯泡损坏,其他灯泡仍会继续发光,就像设计良好的微服务应用,即使某个服务实例发生故障,也能继续运行。

Kubernetes流量管理

容器是微服务架构中的常见选择,因为容器轻量、可移植且易于扩展,非常适合使用小型独立组件构建应用。Kubernetes是容器编排领域的事实标准,但要让Kubernetes达到生产就绪状态仍面临诸多挑战。成熟的流量管理策略可以增强对Kubernetes应用的控制力及其韧性,让您能够控制服务而非数据包,并动态调整流量管理规则,或通过Kubernetes API进行调整。虽然流量管理对任何架构都很重要,但对于高性能应用而言,有两种流量管理工具必不可少:流量控制和流量拆分。

流量控制

流量控制(有时也称为流量路由或流量整形)是指控制流量的去向及其到达目的地的方式。在生产环境中运行Kubernetes时,流量控制必不可少,因为它可以保护基础设施和应用,抵御攻击和流量激增的影响。可以在应用开发周期中引入的两项技术是限流和熔断。

  • 用例:我想保护服务,避免请求过多
    解决方案:速率限制无论出于恶意(例如暴力破解密码和DDoS攻击)还是正常目的(例如客户涌入抢购促销商品),大量HTTP请求都可能使服务不堪重负,导致应用崩溃。速率限制可限制用户在给定时间段内发出的请求数量。这些请求可以很简单,例如请求网站首页的GET请求,或登录表单中的POST请求。例如,遭受DDoS攻击时,可以使用速率限制,将传入请求的速率限制在真实用户的典型水平。
  • 使用场景:我想避免级联故障
    解决方案:熔断当服务不可用或延迟较高时,传入请求可能需要很长时间才会超时,客户端也需等待较长时间才能收到错误响应。过长的超时时间可能引发级联故障,即某项服务中断导致其他服务超时,最终导致整个应用发生故障。熔断器通过监测服务故障来防止级联故障。当发往某项服务的失败请求数超过预设阈值时,熔断器会触发,并在请求到达时立即向客户端返回错误响应,从而有效限制流向该服务的流量。熔断器会在指定时长内持续拦截并拒绝请求,然后放行少量请求进行测试。如果这些请求成功,熔断器便停止限制流量。否则,计时器会重置,熔断器将再次在指定时长内拒绝请求。

流量拆分

流量拆分(有时称为流量测试)是流量控制的一个子类别,指控制传入流量分配到同一环境中同时运行的后端应用不同版本(通常为当前生产版本和更新版本)的比例。它是应用开发周期的重要组成部分,因为它使团队能够在不对客户造成负面影响的情况下,测试新功能和新版本的功能与稳定性。适用的部署场景包括调试路由、金丝雀部署、A/B测试和蓝绿部署。(业界对这四个术语的用法存在较大差异。本文按我们对其定义的理解使用这些术语。)

  • 使用场景:我已准备好在生产环境中测试新版本
    解决方案:调试路由假设您有一个银行应用,正准备添加信用评分功能。在让客户参与测试之前,您可能希望先了解该功能在生产环境中的表现。调试路由支持根据会话Cookie、会话ID或组ID等第7层属性,仅允许特定用户访问新版本,从而在公开部署后仍能向实际用户“隐藏”该版本。例如,可以仅允许拥有管理员会话Cookie的用户访问新版本,将他们的请求路由到具有信用评分功能的新版本,而其他所有用户则继续使用稳定版本。
    使用Ingress控制器分流流量的调试路由拓扑图
  • 使用场景:我需要确保新版本稳定运行
    解决方案:金丝雀部署金丝雀部署的概念源自过去的一种采矿做法:矿工将笼中的金丝雀带入煤矿,作为有毒气体的预警。金丝雀会先于矿工因毒气死亡,从而让矿工有时间迅速脱离危险。在应用领域,当然不会有鸟类受到伤害!金丝雀部署提供了一种安全、敏捷的方式,用于测试新功能或新版本的稳定性。典型的金丝雀部署会先让大多数用户(例如99%)继续使用稳定版本,将极少数用户(其余1%)切换到新版本。如果新版本出现故障,例如崩溃或向客户端返回错误,可以立即将测试组切回稳定版本。如果新版本运行正常,则可以将用户从稳定版本切换到新版本,既可以一次性全部切换,也可以采用更常见的方式,逐步、有序地迁移。
    使用Ingress控制器分流的金丝雀部署拓扑图
  • 用例:我需要了解客户是否比起当前版本更喜欢新版本
    解决方案:A/B测试既然已确认新功能能在生产环境中正常运行,您可能希望根据点击次数、回访用户数或用户直接给出的评分等关键绩效指标(KPI),获取客户反馈,了解该功能的成效。A/B测试广泛应用于各行各业,通过衡量和比较用户行为,确定不同产品或应用版本在客户群体中的相对成效。在典型的A/B测试中,50%的用户使用版本A(当前应用版本),其余50%的用户使用版本B(包含已确认稳定的新功能的版本)。各项KPI综合表现更好的版本胜出。
    使用Ingress控制器分流的A/B测试拓扑图
  • 用例:我希望在不停机的情况下将用户迁移到新版本
    解决方案:蓝绿部署假设您的银行应用即将进行一次重大版本升级……恭喜!过去,版本升级通常意味着用户会遇到停机,因为必须先下线旧版本,才能将新版本投入生产。但在如今竞争激烈的环境中,大多数用户都无法接受因升级而停机。蓝绿部署可大幅缩短升级停机时间,甚至实现升级不停机。只需让旧版本(蓝色)继续在生产环境中运行,同时在同一生产环境中并行部署新版本(绿色)。大多数组织都不希望一次性将100%的用户从蓝色版本迁移到绿色版本,毕竟,如果绿色版本出现故障怎么办?解决方法是使用金丝雀部署,按照符合风险缓解策略的批次逐步迁移用户。如果新版本出现严重问题,只需敲几下键盘,就能轻松将所有用户切回稳定版本。
    使用Ingress控制器分流的蓝绿部署拓扑图

NGINX如何提供帮助

借助大多数Ingress控制器和服务网格,可以实现高级流量控制与流量拆分。具体采用哪种技术,取决于应用架构和使用场景。例如,以下3种场景适合使用Ingress控制器:

  • 应用只有一个端点,例如简单应用或通过“直接迁移”方式迁入Kubernetes的单体应用。
  • 集群内不存在服务间通信。
  • 服务之间存在通信,但尚未使用服务网格。

如果部署足够复杂,需要使用服务网格,一种常见用例是在服务之间分配流量,以测试或升级单个微服务。例如,您可能希望在移动前端后方,在地理位置微服务API的两个不同版本之间进行金丝雀部署。

然而,使用某些Ingress控制器和服务网格配置流量拆分可能既耗时又容易出错,原因有以下几点:

  • 不同供应商的Ingress控制器和服务网格以不同的方式实现Kubernetes功能。
  • Kubernetes的设计初衷并不是管理和理解第7层流量。
  • 某些Ingress控制器和服务网格不支持复杂的流量管理。

借助NGINX Ingress Controller和NGINX Service Mesh,您只需几秒即可轻松配置强大的流量路由和流量拆分策略。观看专家直播演示,并继续阅读,了解我们如何通过更简便的配置、高级自定义功能和更高的可见性,为您节省时间。

使用NGINX Ingress资源和SMI规范简化配置

以下NGINX功能让配置更简单:

  • 适用于NGINX Ingress Controller的NGINX Ingress资源:虽然标准Kubernetes Ingress资源可让您轻松配置SSL/TLS终止、HTTP负载均衡和第7层路由,但它并不具备熔断、A/B测试和蓝绿部署所需的定制功能。因此,非NGINX用户必须使用注解、ConfigMap和自定义模板,而这些方式均缺乏细粒度控制、不安全、容易出错且难以使用。NGINX Ingress Controller提供NGINX Ingress资源,可替代标准Ingress资源(同时也支持标准Ingress资源)。NGINX Ingress资源采用原生、类型安全且使用缩进的配置风格,可简化Ingress负载均衡的实现。对于现有NGINX用户,NGINX Ingress资源还有一项额外优势:更容易复用非Kubernetes环境中的负载均衡配置,让所有NGINX负载均衡器都能使用相同的配置。
  • 支持SMI的NGINX Service Mesh:NGINX Service Mesh实现了Service Mesh Interface(SMI),这是一项规范,为Kubernetes上的服务网格定义了标准接口,并提供类型化资源,例如TrafficSplit、TrafficTarget和HTTPRouteGroup。通过标准的Kubernetes配置方法,NGINX Service Mesh和NGINX SMI扩展让金丝雀部署等流量拆分策略易于部署,同时尽可能减少对生产流量的干扰。例如,以下展示了如何使用NGINX Service Mesh定义金丝雀部署:
apiVersion: split.smi-spec.io/v1alpha2kind: TrafficSplit
metadata:
name: target-ts
spec:
service: target-svc
backends:
- service: target-v1-0
    weight: 90
- service: target-v2-0
    weight: 10

通过高级自定义实现更精细的流量控制与拆分

借助这些NGINX功能,可以轻松实现精细化流量控制与分流:

  • 用于金丝雀部署的键值存储:在执行A/B测试或蓝绿部署时,您可能希望按特定比例逐步将流量切换到新版本,例如0%、5%、10%、25%、50%和100%。使用大多数工具时,这个过程需要大量手动操作,因为每次提高比例都必须修改百分比并重新加载配置文件。面对如此多的操作,您可能会决定冒险将比例直接从5%提高到100%。不过,使用基于NGINX Plus的NGINX Ingress Controller版本,您可以利用键值存储更改百分比,而无需重新加载配置。
  • 使用NGINX Ingress Controller实现熔断:高级熔断器可更快地检测故障并执行故障转移,甚至为不健康的上游服务器启用自定义的格式化错误页面,从而节省时间并提高韧性。例如,搜索服务的熔断器可以配置为返回格式正确但内容为空的搜索结果集。为实现这些高级功能,基于NGINX Plus的NGINX Ingress Controller版本使用主动健康检查,主动监测TCP和UDP上游服务器的健康状况。通过实时监测,可降低客户端遇到应用返回错误的可能性。
  • 使用NGINX Service Mesh实现熔断:NGINX Service Mesh的熔断器规范包含3个自定义字段:其中,errors和timeoutSeconds是标准熔断器功能,而fallback允许定义备用服务器,从而进一步提升韧性。如果备用服务器的响应具有独特性,这些响应就可以成为集群出现问题的早期信号,帮助您立即开始故障排查。
    • errors:触发熔断前的错误次数
    • timeoutSeconds:触发熔断所统计的错误发生时间窗口,以及关闭熔断器前的等待时间
    • fallback:触发熔断后流量重新路由到的Kubernetes服务的名称和端口

通过仪表板解读流量拆分结果

流量拆分已实施,接下来该做什么?现在需要分析结果。这可能是颇具挑战的环节,因为许多组织缺乏对Kubernetes流量和应用运行表现的关键洞察。NGINX通过NGINX Plus仪表板和预构建的Grafana仪表板,将Prometheus Exporter公开的指标可视化,让获取洞察更加轻松。有关如何提升可见性以获取洞察的更多信息,请阅读我们的博客文章《如何提升Kubernetes中的可见性》。

借助NGINX掌握微服务

基于NGINX Plus的NGINX Ingress Controller提供30天免费试用,其中包含NGINX App Protect,用于保护容器化应用。

如需试用基于NGINX Open Source的NGINX Ingress Controller,可以获取发行版源代码,或从DockerHub下载预构建的容器。

永久免费提供的NGINX Service Mesh可在下载,网址为f5.com。


分享

关于作者

相关博客文章

NGINX Plus R26 正式发布
NGINX | 2022/02/15

NGINX Plus R26 正式发布

NGINX Plus R26通过缓存JSON Web密钥集加快JWT验证,并强化TLS握手,从而提升安全性。NGINX JavaScript的新功能包括增强对异步函数的支持,以及实现WebCrypto API。

使用NGINX App Protect DoS保护gRPC应用,抵御严重的DoS攻击
NGINX | 2022/02/10

使用NGINX App Protect DoS保护gRPC应用,抵御严重的DoS攻击

gRPC具备开发人员设计和部署现代应用所需的速度与灵活性,但其开放性也使其极易受到第7层DoS攻击。NGINX App Protect DoS可保护gRPC应用免受此类破坏性攻击。

Ingress Controller 选型指南(第 2 部分):风险与面向未来的规划
NGINX | 2021/09/13

Ingress Controller 选型指南(第 2 部分):风险与面向未来的规划

了解选择错误的Ingress控制器可能带来的风险,以及如何从关键方面着手,让您的选择更好地适应未来需求。

NGINX Plus R19 正式发布
NGINX | 2019/09/03

NGINX Plus R19 正式发布

NGINX Plus R19扩展了监控功能,不仅提供更多指标,还新增了指标分析方式;增加试运行模式,用于测试限速效果;增强键值存储,以支持IP地址范围;并使限速更加动态。

NGINX现已正式加入F5
NGINX | 2019/05/09

NGINX现已正式加入F5

NGINX现已正式成为F5的一部分。Gus Robertson现任F5 NGINX业务部门负责人。他阐述了两家公司在人才、文化和愿景方面融合的价值,以及双方将如何携手增强NGINX的开源产品和商业产品。

使用NGINX和NGINX Plus实现高性能缓存
NGINX | 2016/08/24

使用NGINX和NGINX Plus实现高性能缓存

我将介绍NGINX在内容缓存和性能方面的工作原理,并分享一些控制NGINX内容缓存方式的技巧。