选择NGINX Plus负载均衡技术

NGINX | 2015年10月29日

我们已撰写多篇文章,介绍如何使用NGINX Plus和NGINX Open Source为网站和应用进行负载均衡,以优化可用性和可靠性。负载均衡是提升应用性能、大规模交付应用以及部署容器和微服务的基础工具。

我们此前介绍过如何将NGINX Plus部署在数据中心中(可能与传统应用交付控制器一同部署)、在容器中以及在云环境中,包括Amazon Web Services(AWS)、Google Cloud Platform和Microsoft Azure。

本文将重点介绍NGINX Plus和NGINX中的负载均衡技术(也称为负载均衡方法或算法),并就如何针对不同用例选择合适的方法提供建议。NGINX提供4种负载均衡技术(轮询、哈希、IP哈希和最少连接),NGINX Plus则额外提供了1种(最短时间)。除IP哈希外,所有适用于HTTP流量的方法也适用于TCP流量(在NGINX Plus Release 9及更高版本中,还适用于UDP流量)。

[编者注:NGINX Plus R16和NGINX Open Source 1.15.1新增了随机二选一负载均衡算法。相关讨论,请参阅我们的博客文章《NGINX与“二选一”负载均衡算法》。]

回顾负载均衡技术

我们假设您已了解负载均衡配置的基础知识,如需回顾,可参阅以下资源:

  • 《NGINX Plus管理员指南》中的文章提供了全面概述。
  • 高性能负载均衡提供了详细介绍NGINX Plus增强功能的链接,这些功能可进一步提高负载均衡方法的效率。
  • 使用NGINX和NGINX Plus实现负载均衡,第1部分和第2部分逐步介绍如何利用NGINX Plus的增强功能,将简单的反向代理构建为全面的负载均衡解决方案。
  • The 负载均衡解决方案页面提供其他资源的链接,包括电子书、网络研讨会和白皮书。

为简明起见,我们将重点介绍HTTP负载均衡,其配置位于http上下文中。TCP负载均衡则在stream上下文中配置(NGINX Plus Release 9及更高版本中的UDP负载均衡也是如此)。虽然HTTP与TCP/UDP负载均衡器的功能相同,但由于协议之间存在固有差异,可用的指令和参数也有所不同。有关详细信息,请参阅HTTP和TCP/UDP的Upstream模块文档。

使用两个配置块即可启用负载均衡。下面展示其基本形式,不含可选参数或任何辅助功能:

  • The server块定义了一个虚拟服务器,用于侦听符合所定义特征的流量,并将其代理到一个具名的上游服务器组。在这些示例中,虚拟服务器在默认端口(80)上侦听发往www.example.com的HTTP流量,并将其代理到名为backend的上游服务器组。所有示例中的此配置块均相同。
server {    server_name www.example.com;

    location / {
       proxy_pass http://backend;
    }
}
  • (NGINX Plus和NGINX还可以对FastCGI、memcached、SCGI和uwsgi后端服务器进行负载均衡。将proxy_pass替换为相应的指令:fastcgi_pass、memcached_pass、scgi_pass或uwsgi_pass。)
  • The upstream块用于命名一个上游组,并列出组内的服务器;这些服务器通过主机名、IP地址或UNIX域套接字路径标识。在本示例中,名为backend的上游组包含3台服务器:web1、web2和web3。负载均衡方式在upstream块中指定,因此后续各节将重点介绍该块。例如,以下是使用默认轮询方式的配置块:
upstream backend {    server web1;
    server web2;
    server web3;
}

轮询

轮询是NGINX Plus和NGINX默认采用的负载均衡技术。负载均衡器按顺序遍历上游服务器列表,将后续连接请求依次分配给各个服务器。

根据以下backend上游组的示例配置,负载均衡器会将前3个连接请求依次发送到web1、web2和web3,将第4个请求发送到web1,第5个请求发送到web2,以此类推。

upstream backend {    server web1;
    server web2;
    server web3;
}

server {
    server_name www.example.com;

    location / {
       proxy_pass http://backend;
    }
}

哈希

使用Hash方法时,负载均衡器会针对每个请求,根据指定的文本和NGINX变量的组合计算哈希值,并将该哈希值关联到其中一台服务器。负载均衡器会将具有相同哈希值的所有请求发送到该服务器,因此这种方法可实现基本的会话保持。

在以下示例中,hash指令使用请求的协议方案(http或https)和完整URI作为计算哈希值的依据:

upstream backend {    hash $scheme$request_uri;

    server web1;
    server web2;
    server web3;
}

server {
    server_name www.example.com;

    location / {
       proxy_pass http://backend;
    }
}

IP哈希

IP哈希(仅适用于HTTP)是哈希方法的一种预定义变体,基于客户端的IP地址计算哈希值。可使用ip_hash指令进行设置。

upstream backend {    ip_hash;

    server web1;
    server web2;
    server web3;
}

server {
    server_name www.example.com;

    location / {
       proxy_pass http://backend;
    }
}

如果客户端使用IPv6地址,则根据完整地址计算哈希值。如果使用IPv4地址,则仅根据地址的前3个八位组计算哈希值。这样设计旨在针对由ISP从子网(/24)地址范围内动态分配IP地址的客户端进行优化。重启或重新连接时,客户端地址通常会变为该/24网段内的另一个地址,但连接仍来自同一客户端,因此无需更改其到服务器的映射。

但是,如果网站的大部分流量来自同一/24网段中的客户端,则不适合使用IP Hash,因为它会将所有客户端映射到同一台服务器。在这种情况下(或者出于其他原因需要基于全部4个八位组计算哈希值时),应改用Hash方法,并使用$remote_addr变量。

hash $remote_addr;

最少连接

使用最少连接方法时,负载均衡器会比较当前与各服务器建立的活动连接数,并将请求发送到连接数最少的服务器。可使用least_conn指令配置此方法。

upstream backend {
    least_conn;

    server web1;
    server web2;
    server web3;
}

server {
    server_name www.example.com;

    location / {
       proxy_pass http://backend;
    }
}

最短时间

使用最短时间方法(仅在NGINX Plus中可用)时,负载均衡器会对每台服务器的两个指标(当前活动连接数和历史请求的加权平均响应时间)进行综合计算,并将请求发送到计算值最低的服务器。

为least_time指令选择的参数决定了跟踪哪种响应时间:接收响应头所需的时间(header)或接收完整响应所需的时间(last_byte)。

upstream backend {    least_time (header | last_byte);

    server web1;
    server web2;
    server web3;
}

server {
    server_name www.example.com;

    location / {
       proxy_pass http://backend;
    }
}

注意事项:

  • 对于TCP和UDP负载均衡(在stream上下文中),可以通过为least_time指令设置以下参数,从三种响应时间类型中进行选择:
    • connect:连接到上游服务器所需的时间
    • first_byte:接收响应数据首字节所需的时间
    • last_byte:接收响应数据最后一个字节所需的时间
  • 对于HTTP和TCP/UDP流量,在NGINX Plus R12及更高版本中,添加inflight参数可在各项指标中计入尚未完成的连接;早期版本默认计入此类连接。

选择负载均衡技术

那么,如何判断哪种负载均衡技术更适合您的网站或应用?

不同站点的流量模式差异很大,即使是同一个站点,在一天中的不同时段也可能有很大差异。因此,仅凭单一特征(例如流量是突发还是稳定、连接是短连接还是长连接等)来选择负载均衡技术并不合理。不过,我们将分析各类方法的优缺点,帮助您缩小选择范围。

运行测试以比较各种方法

无论考虑采用哪些负载均衡方法,都建议进行测试,了解哪种方法更适合您的流量。“更适合”通常意味着向客户端返回响应所需的时间更短,但您也可能有不同的评判标准。

应用性能管理工具非常适合此类测试。您可以创建自定义界面,用图表展示上游组中各台服务器的指标,从而在测试期间随着数值的变化实时比较各台服务器的表现。多款APM工具提供适用于NGINX Plus和NGINX的自定义插件,包括AppDynamics、Datadog、Dynatrace和New Relic。

如果所有服务器的处理能力相同,测试就很简单。否则,需要设置服务器权重,让处理能力更强的服务器接收更多请求。请参阅下文的“服务器配置不同时的权重设置”。

测试期间需要检查的指标包括:

  • CPU和内存负载:查看CPU和内存各自的使用率。如果各服务器的负载不均衡,则说明流量分配效率不高。
  • 服务器响应时间:如果某些服务器的响应时间始终比其他服务器长,说明“更重”的请求(需要更多计算,或更多次调用数据库或其他服务)正以不均衡的方式被分配到这些服务器上。请尝试调整权重,因为这种不均衡可能是由权重设置不当引起的,而非负载均衡技术本身存在问题。
  • 响应客户端的总时间:同样,如果某些服务器的响应总时间持续高于其他服务器,说明这些服务器可能分配到了过多的耗时请求。您也可以尝试调整权重,看看是否能消除这一问题。
  • 错误和失败请求:需要确保测试期间失败请求和其他错误的数量不超过网站的日常水平。否则,决策依据将是出错时的情况,而非真实流量情况。对于某些错误,服务器发送响应的速度可能比请求成功时更快。例如,对于HTTP响应代码404(File Not Found),服务器返回该错误的速度很可能远快于文件存在时传输实际文件的速度。使用最少连接和最短时间负载均衡算法时,这可能导致负载均衡器优先选择实际上运行不佳的服务器。

优缺点和使用场景

下面我们来看看各种负载均衡技术的优缺点,以及各自特别适合的用例。我们将按照它们对大多数用例的适用程度,从低到高依次介绍。先简要说明:我们认为,Least Connections(以及NGINX Plus中的Least Time)是适用范围广泛的优选方案。

哈希和IP哈希

哈希和IP哈希负载均衡技术在特定类型的客户端请求(以哈希值表示)与某台服务器之间建立固定关联。这可能就是您所熟悉的会话保持:具有相同哈希值的所有请求始终发送到同一台服务器。

这些方法的主要缺点是无法保证将请求等量分配到各台服务器,更不用说均衡负载了。哈希算法将所有可能的哈希值均匀划分到多个“桶”中,上游组中的每台服务器对应一个桶,但无法预测实际请求的哈希值是否均匀分布。例如,假设有10个客户端正在访问某个站点,而IP Hash算法恰好将其中7个IP地址的哈希值关联到web1,将1个关联到web2,将2个关联到web3。这样,web1服务器最终收到的请求数将超过其他服务器收到的请求总数的2倍。

Hash和IP Hash负载均衡技术可能导致负载分配不均

因此,当保持会话的好处大于负载不均衡可能带来的负面影响时,使用Hash或IP Hash是合理的选择。它们是NGINX中仅有的会话保持方式。NGINX Plus还提供了另外3种会话保持机制,这些机制更为复杂,可与实际的负载均衡配合使用(通过sticky指令进行配置)。不过,即使使用NGINX Plus,您仍可能选择Hash或IP Hash,因为这3种机制在以下情况下不起作用:

  • 浏览器或客户端应用不接受Cookie,且应用程序无法在不使用Cookie的情况下配合会话保持机制工作。使用IP Hash方法,将每个客户端(具体而言是其IP地址)与特定服务器关联。
  • 希望将给定URL的请求每次都发送到同一台服务器,以利用服务器自身的缓存。使用Hash方法并结合$request_uri变量,即可每次都从同一台服务器获取文件。例如,假设提供某个.php文件需要多次耗时的数据库调用,但获取的数据不常变化,因此可以缓存。如果将该文件的所有请求都定向到同一台服务器,只有首个客户端会因数据库调用而遇到较长延迟。对于后续所有客户端,都可以从缓存中快速检索数据。另一个好处是,只有这一台服务器需要缓存这组特定数据。由于无需在每台服务器上重复缓存相同数据,因此可以使用更小的缓存。

在以下几种情况下,IP Hash以及键中包含客户端IP地址的Hash方法无法正常工作:

  • 客户端的IP地址在会话期间可能发生变化,例如移动客户端从WiFi网络切换到蜂窝网络时。
  • 当大量客户端的请求通过正向代理时,因为这些请求使用的都是该代理的IP地址。

哈希具有确定性(哈希算法每次都会生成相同的结果)。这也带来了两个好处:同一部署中的所有NGINX Plus或NGINX实例都以完全相同的方式对请求进行负载均衡,而且哈希值到服务器的映射在负载均衡器重启后仍保持不变。(实际上,映射会在重启后重新计算,但由于结果始终相同,效果上相当于保留了原有映射。)

另一方面,更改上游服务器集合通常会导致至少部分映射必须重新计算,从而破坏会话保持。可以通过以下方式在一定程度上减少需要重新计算的映射数量:

  • 使用Hash方法时,请在consistent 参数中配置hash 指令;NGINX Plus使用ketama 哈希算法,可减少重新映射。
  • 对于IP Hash方法,在将服务器暂时从上游组中移除之前,请在其server指令中添加down参数,如下例中的web2所示。由于假定该服务器很快就会恢复服务,因此不会重新计算映射关系。
upstream backend {    ip_hash;

    server web1;
    server web2 down;
    server web3;
}

轮询

如前所述,轮询是NGINX Plus和NGINX的默认负载均衡方法。因此,选择这一方法非常简单:除了上游服务器组本身,无需进行任何额外配置。

普遍认为,当服务器和请求的特征不太可能导致部分服务器相较于其他服务器负载过重时,轮询法的效果较好。适用条件包括:

  • 所有服务器的容量大致相同。如果服务器权重能准确反映服务器之间的差异,则这一要求的重要性会降低。
  • 所有服务器均托管相同的内容。
  • 各个请求所需的时间或处理能力相差不大。如果请求的处理开销差异很大,负载均衡器恰好在短时间内连续向某台服务器发送大量高开销请求,就可能导致该服务器过载。
  • 流量不大,不会频繁使服务器接近满负荷运行。如果服务器的负载已经很高,轮询算法机械分配请求的方式就更有可能使部分服务器超出承载极限,出现上一条所述的过载情况。

轮询特别适合测试场景,因为它能确保请求均等地分配到所有服务器(或按相应的权重比例分配)。其他一些方法在流量较低时不一定能均匀分配流量,这可能导致测试结果出现偏差。

这种均匀分配的特性也有助于检验缓存在满容量运行时能否正常工作:由于轮询无法将针对同一文件的请求发送到同一台服务器,每台服务器最终都可能提供并缓存各种文件(其中通常有许多文件与其他服务器缓存的文件相同),因此缓存更容易被填满。

最后,均匀的初始分布有助于发现NGINX Plus中会话保持功能(通过sticky指令配置)的问题。

最少连接与最短时间

如上所述,最少连接负载均衡算法适用于广泛的用例,尤其适合处理生产流量。客户的一些实际经验也支持这一点。该算法的性能稳定且可预测。

最少连接算法还能根据服务器的处理能力,在服务器之间有效分配工作负载。处理能力更强的服务器能更快地完成请求,因此在任意时刻,相比处理能力较弱的服务器,其仍在处理(甚至尚在等待开始处理)的连接数可能更少。最少连接算法将每个请求发送到当前连接数最少的服务器,因此更有可能将请求发送到处理能力较强的服务器。(不过,设置权重仍能进一步提高请求分配效率,详情请参阅下文的“服务器配置不同时设置权重”。)

可以将Least Time(仅限NGINX Plus)视为更灵敏的Least Connections。它将平均响应时间纳入考量,从而兼顾服务器近期的性能表现(实际上采用的是指数加权移动平均值,因此较早的响应时间对平均值的影响小于较近的响应时间)。

当上游服务器的平均响应时间差异很大时,最短时间算法尤其适用。例如,如果为了灾难恢复而在不同数据中心部署服务器,最短时间算法通常会向本地服务器发送更多请求,因为它们的响应速度更快。另一个用例是云环境,其中服务器性能往往很难预测。

Least Time是NGINX Plus中的一种负载均衡技术

服务器配置不同时的权重设置

我们已多次提到,当上游组中的服务器处理能力不同时,设置服务器权重十分重要。对于采用轮询算法的负载均衡器,这一点尤为重要,否则它会向每台服务器发送相同数量的请求。这很可能导致处理能力较弱的服务器过载,而处理能力较强的服务器却有部分资源闲置。

要设置权重,请在weight参数,添加到一个或多个server指令中,这些指令位于upstream块内。默认值为1。

可以通过以下方式理解设置权重对不同负载均衡技术的影响。请注意,这些描述在概念上是正确的,但NGINX Plus代码中的实现不一定使用所述的数学运算。以下是示例中使用的上游组:

upstream backend {    server web1 weight=6;
    server web2 weight=3;
    server web3;
}
  • 轮询:每台服务器分配到的传入请求比例等于其权重除以所有服务器的权重之和。在本例中,每10个请求中,web1分配到6个(60%),web2分配到3个(30%),web3分配到1个(10%)。
  • 哈希和IP哈希:回顾一下,不使用权重时,哈希算法会将所有可能的哈希值均匀划分到多个“桶”中,上游组中的每台服务器对应一个桶。使用权重时,算法则先计算权重总和,再将所有可能的哈希值均匀划分到相应数量的桶中,并为每台服务器关联与其权重相等数量的桶。在本例中,共有10个桶,每个桶包含10%的可能哈希值。其中,6个桶(占所有可能哈希值的60%)关联到web1,3个桶(30%)关联到web2,1个桶(10%)关联到web3。
  • 最少连接和最短时间:前面提到,即使不设置权重,这些算法也能根据服务器的处理能力有效分配工作负载。设置权重可进一步提升这方面的表现。回顾一下,最少连接和最短时间算法会将每个请求发送到“得分”最低的服务器,两者的得分分别为连接数,以及连接数和时间的数学组合值。分配权重后,负载均衡器会将每台服务器的得分除以其权重,再将请求发送到所得值最低的服务器。下面以最少连接算法为例,使用示例中的权重和指定的活动连接数:web1的得分为100,数值最低,因此获得该请求,尽管其连接数为600,是web2的1.5倍,也是web3的4倍多。
    • web1:600个活动连接 ÷ 6 = 100
    • web2:400个活动连接 ÷ 3 = 133
    • web3,125个活动连接 ÷ 1 = 125

总结

在评估了NGINX Plus和NGINX中可用负载均衡技术的优缺点后,我们认为,最少连接算法(以及NGINX Plus中的最短时间算法)适用于广泛的使用场景。不过,在实际部署环境中测试多种方法非常重要,因为流量和服务器特征的独特组合可能使其他方法更适合您的环境。

如需亲自体验NGINX Plus负载均衡,请即刻开始30天免费试用,或联系我们,讨论您的使用场景。

我们很期待了解您在不同用例中使用负载均衡的经验。请在下方评论区分享。


分享

相关博客文章

NGINX Plus R26 正式发布
NGINX | 2022/02/15

NGINX Plus R26 正式发布

NGINX Plus R26通过缓存JSON Web密钥集加快JWT验证,并强化TLS握手,从而提升安全性。NGINX JavaScript的新功能包括增强对异步函数的支持,以及实现WebCrypto API。

使用NGINX App Protect DoS保护gRPC应用,抵御严重的DoS攻击
NGINX | 2022/02/10

使用NGINX App Protect DoS保护gRPC应用,抵御严重的DoS攻击

gRPC具备开发人员设计和部署现代应用所需的速度与灵活性,但其开放性也使其极易受到第7层DoS攻击。NGINX App Protect DoS可保护gRPC应用免受此类破坏性攻击。

Ingress Controller 选型指南(第 2 部分):风险与面向未来的规划
NGINX | 2021/09/13

Ingress Controller 选型指南(第 2 部分):风险与面向未来的规划

了解选择错误的Ingress控制器可能带来的风险,以及如何从关键方面着手,让您的选择更好地适应未来需求。

NGINX Plus R19 正式发布
NGINX | 2019/09/03

NGINX Plus R19 正式发布

NGINX Plus R19扩展了监控功能,不仅提供更多指标,还新增了指标分析方式;增加试运行模式,用于测试限速效果;增强键值存储,以支持IP地址范围;并使限速更加动态。

NGINX现已正式加入F5
NGINX | 2019/05/09

NGINX现已正式加入F5

NGINX现已正式成为F5的一部分。Gus Robertson现任F5 NGINX业务部门负责人。他阐述了两家公司在人才、文化和愿景方面融合的价值,以及双方将如何携手增强NGINX的开源产品和商业产品。

使用NGINX和NGINX Plus实现高性能缓存
NGINX | 2016/08/24

使用NGINX和NGINX Plus实现高性能缓存

我将介绍NGINX在内容缓存和性能方面的工作原理,并分享一些控制NGINX内容缓存方式的技巧。