微服务技术栈:流量整形算法,服务熔断与降级

云栖号资讯:【点击查看更多行业资讯】
在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来!


一、流量控制

1、基本概念

流量控制的核心作用是限制流出某一网络的某一连接的流量与突发,使这类报文以比较均匀的速度流动发送,达到保护系统相对稳定V S { Z w a U 4的目的。通常是将请求放入缓冲区或队列内,然后S k m 0 + K N Q @基于特定策略处理请求,匀速或者批量处理,该过程也称流量整形。

流量控制的核心算法有以下两种:漏桶算法和令牌桶算法。

2、漏桶算法

基础描述漏桶算法是流量整形或速率限制时经常使用的一种算法,它的主要目的是控制数据注入到网络的速率,平滑网络上的突发流量。

微服务技术栈:流量整形算法,服务熔断与降级

漏桶算法提供了一种机制,通过它,突发流量可以被整形以便为网络提供一个稳定的流量。漏桶算# 1 S法基本思路:请求(水流)先进入到容器(漏桶)里,7 9 r X j ` w漏桶以一定的速度出水,这里就是指流量流出2 A ) 9的策略,当流量流入速度过大容器无法承接就会直接溢出,通过该过程限制数据的传输速率。

核心要素

通过上述流程,不难发现漏桶算法涉及下面几个要素:

  • 容器容量

容器的大小直接决定能承接流量的多少P & O t,容器一但接近6 | ( l G u Y l饱和,要么溢7 Y y I 8 出,要么加快流速;

  • 流出速度

流量流出的速度取决于服务的请求处理能力,接口支撑的并发E Y } r D , ~ M越高,流速就可以越大;

  • 时间控制

基于时间记录,判断流量流出速度,控制匀速模式

注意:需要一个基本的判定策略,漏桶~ t i b算法在系统能承接当前并发流量时,不需要启用。

3、令牌桶算法

基础描述令牌桶可自行以恒定的速率源源不断地产生令牌。如果令牌不被消耗,或者被消耗的速度小于产生的速度,令牌就会不断地增多,直到把桶填满。后面再产生的令牌就会从桶中溢出。

微服务技术栈:流量整形算法,服务熔断与降级

令牌桶算法虽M ( C |然根本目的也是控制流量速度,但是当令牌桶内的令牌足够p 4 H u D C M X多时,则允许流量阶段性的并发。传送到令牌桶的数据包需要消耗令牌。不同大小的数6 9 u L ~ G D据包,消耗的令牌数量不一样。

核心要素

  • 令牌桶

存放按照特定的速率生成的令牌,以此控制流量速度。

  • 匹配规则

这里的匹配规则更多是服务于分布式系统,例如服务A是系统的核心交易,当出现并发时,基于 K s : q令牌桶最匹配规则,只允许交易请求通过,例如:常见双十一期间,各大电商平台提示,为保证核心交易,边缘服务的数据延迟或暂停等。

注意:令牌桶算法和漏桶算法的目的虽然H | b U ] N r # {相同T X p x,但是实现策略是相反的,不过都存在一个问题} J [ r s 7 :,为保证大部分请求流量成功,会牺牲小部分请求。

二、限流组件

1、g G z B I /Nginx代理组件

Nginx反向代理实际运行方S ] $ U 2 } f G式是指以代理服务器来接收客户端连接请求,然后将请求转发给内部网络上的服务器,并将从服务器上得到的结果返回给客户端,此时代理服务器对外就表现为一个服务器。

微服务技术栈:流量整形算法,服务熔断与降级

流量限制A { L q = (是Nginx作为代理服务中一个非常实用的功能,通过配置方2 h Y 7 8式来限制用户在给定时间内HTTP请求的数量,两个主要的配置指令limit_req_zone和limit_req,以此保护高并发下系统的稳定。

2、CDN边缘节点

CDN边缘? A O w ) = C节点,准确的说并不是用来处理流量限制的,而是存放静态页面。内容缓存为CDN网络节点,位于用户接入点,是面向最终用户的内容提供设备,可缓存静态Web内容和流媒体内容,实现内容的边缘传播Y _ 2 = % j C t和存储,以便用户的就近访问,这样避免用户大量刷新数据服L y Z ^ l k x 1务器,节省骨干网带宽,减少带宽需求量。

微服务技术栈:流量整形算法,服务熔断与降级

高并发场景下,尤其是倒计} r Z q |时抢购类似业务,在4 J `活动开始前后用户0 r l q s g 9会产生大量刷新页面的操作,基于CDN节点,这些请求不会下A 2 q - K沉到数据的服务接口上。也可以基于页面做一些请求拦截,比如点击页面单位时间内只放行一定量的请求,以此也可以实现一个限流控制。

三、熔断器组件

b [ s l O谓熔断器机制,即类似电流的保险器,当N X o b然电压过高会自动跳闸,从而保护电路系统。微服务架构中服务保护也是这个策略,当服务被% d w S g N -判断异常,会从服务列表断开,等待恢复在重新连接。服务熔断降级的策略实现有a G N l h D b #如下几个常# ~ ` k 7用的组件} t Q n

1、Hystrix组件

基础简介

Hystrix当前处于维护模式,即不再更新,作为SpringCloud微服务组件中,最原生的一个熔断组件,很多思路还是有必要了解一下。例如:服务熔断,阻止故障的连锁反应,快速失败并迅速恢复,服务降级等。

某个微服务发生故障时,要快速切断服务,提示用户,后续请求,不调用该服务,直接返回,释放资源,这就是服务熔断。

熔断器策略

服务器高并发下,压力剧增的时候,根据当业务情况以及流量,对一些服务和页面有策略的降级(可以理解为关闭不必要的服务),以此缓解x M u服务器资源的压力以保障核心任务的正常运行。熔断生效后,会在指定的时间后调用请求来测试# u + e 0 9 - ;依赖是否恢复,依赖的应用恢复后; e = a 3 } K关闭熔断t 8 Z ` w U $ | s

微服务技术栈:流量整形算法,服务熔断与降级

1 % 7 % m d @本流程:

首先判断服务熔断器开关状态,服务如果未熔断P ` T ^ 1 w = D s则放行请求;如果服务处于P 8 O o A 6 Z Q熔断中则直接返回。

h ( X k次调用都执行两个函数markSuccess(duu c d & s 6 V } Cration)和marw n . B } M ]kFailure(duration) 来统计在一定的时间段内的调用是成功和失败次数。

基于上述的成功和失败次数的计算策略,来判断是否应该打开熔断器,如果错误率高于一定的阈值,就会触发熔断机制。

熔断器有一个生命周期,周期过后熔断器器进入半开状态,允许放行一个试探请求;否则,不允许放行。

2、r p C 9 @ : #Sentinel组件

基础简介基于微服务的模式P N a P L,服务和服务之间的稳定性变得越来越重要。Sentinel以流量为= g 6 9 2 & R m C切入点,从流量控制、熔断降级、系统负载T . n保护等多个维度保护服务的稳定性。

微服务技术栈:流量整形算法,服务熔断与降级

SentinT j B M d qel可以针对不同的调用关系,以不同的运行指标(如QPS、并h 6 o v q ~ A 发调用数、系统负载a 4 1 . z 1等)为基准,| Q ?收集资源的路径,J : [ 2 {并将这些资源的调用路径以树状结构存储起来~ t ~ o m U a !,用于根X ^ S z k据调用路径对资源进行流量控制。

流量整形策略

直接拒绝模式是默认的流量控制方式,即请求超出任意规则的阈值后,新的请求就会被立即拒绝。

启动预热模* T ?式:当流量激增的时候,控制流量通过的速率,让通过的流量缓慢增加& F | Y E I,在k : b Y _? P 6 r定时间内逐渐增加到阈值上限,给冷系统一个预热的时间,避免冷系统被压垮。

匀速排队方式会严格控制请求通过的间隔时间,也即是让请求以均匀的速度通过,对应的是漏桶算法。

熔断策略

Sentinel本质上是基于熔断器模式1 1 e # b,支持基于异常比率的熔断降级,在调用达到一定量级并且失败比率达到设定的阈X A i `值时自动进行熔断,此时所有对该资源的调用都会被阻塞,直到过了指定的时间窗口后才启发性地恢复。

【云栖号在线课堂】每天都有产品技术专家分享!
课程地址:https://yqh.al7 - ] n = 0iyun.com/live

立即加入社群,j 8 _ ! [ ` a i与专家面^ b P 8 n %对面,及时了解课程最新动态!
【云栖号在线课堂 社群】https://c.tb.cn/F3.Z8gvnK

原文发布时间:2020-06-2u : E b v x 99
本文作者:架构月亮姨
本文来自:“掘金”,了解相关信息可以关注“掘金”