如何利用 “集群流控” 保障微服务的稳定性?

作者:宿何

微服务的稳定性一直是开发者非常关注的话题。随着业务从单体架构向分布式架构演进以及部署方式的变化,服务之间的依赖关系变得越来越复杂,业务系统也面临着巨大的高可用挑战。应用高可用服务 AHAS (Application High Availability Service) 是经阿里巴巴内部多年高可用体系沉淀下来的云产品,以流量与容错为切入点,从流量控制、不稳定调用隔离、熔断降级、热点流量防护、系统自适应保护、集群流控等多个维度来帮助保障服务的稳定性,同时提供秒级的流量监控分析功能。AHAS 不仅在阿里内部淘宝、天猫等电商领域有着广泛的应用,在互联网金融、在线教育、游戏、直播行业和其他大型政央企行业也有着大量的实践。

流控是保障微服务稳定性最常用也是最直接的一种控制手段。每个系统、服务都有其能承载的容量上限,流控的思路非常简单,当某个接口的请求 QPS 超出一定的上限后,拒绝多余的请求,防止系统被突发的流量打垮。市面上最常见的方案是单机维度的流控,比如通过 PTS 性能测试预估某个接口的容量上限是 100 QPS,服务有 10 个实例,则配置单机流控 10 QPS。但很多时候,由于流量分布的不确定性,单机维度的流量控制存在一些效果不佳的情况。

典型场景 1:精确控制对下游的调用总量


                                            如何利用 “集群流控” 保障微服务的稳定性?

场景: 服务 A 需要频繁调用服务 B 的查询接口,但服务 A 和 B 的容量存在差异,服务 B 约定最多给服务 A 提供总共 600 QPS 的查询能力,通过流控等手段进行控制。

痛点: 若按照单机流控的策略配置,由于调用逻辑、负载均衡策略等原因,A 调用 B 到达每个实例的流量分布可能非常不均,部分流量较大的服务 B 实例触发单机流控,但总体限制量尚未达到,导致 SLA 未达标。这种不均的情况经常会发生在调用某个依赖服务或组件(如数据库访问)的时候,这也是集群流控的一个典型场景:精确控制微服务集群对下游服务(或数据库、缓存)的调用总量。

典型场景 2:业务链路入口进行请求总量控制


                                            如何利用 “集群流控” 保障微服务的稳定性?

场景: 在 Nginx/Ingress 网关、API Gateway (Spring Cloud Gateway, Zuul) 进行入口流量控制,希望精确控制某个或某组 API 的流量来起到提前保护作用,多余流量不会打到后端系统。

痛点: 如果按照单机维度配置,一方面不好感知网关机器数变化,另一方面网关流量不均可能导致限流效果不佳;而且从网关入口角度来讲,配置总体阈值是最自然的手段。

AHAS 集群流控

AHAS 集群流控可以精确地控制某个服务接口在整个集群的实时调用总量,可以解决单机流控因流量不均匀、机器数频繁变动、均摊阈值太小导致限流效果不佳的问题,结合单机流控兜底,更好地发挥流量防护的效果。

对于上面的场景,通过 AHAS 集群流控,无论是 Dubbo 服务调用、Web API 访问,还是自定义的业务逻辑,均支持精确控制调用总量,而无关调用逻辑、流量分布情况、实例分布。既可以支撑数十万 QPS 大流量控制,也支持分钟小时级业务维度小流量精确控制。防护触发后的行为可由用户自定义(如返回自定义的内容、对象)。

AHAS 集群防护具有以下几大优势:

  • 场景丰富: 全面覆盖从网关/Mesh 入口流量精确防护、Web/RPC 服务/SQL 调用精确流控,到分钟小时级业务维度流量控制的场景,支持数十万 QPS 量级;
  • 低使用成本: 无需特殊接入方式,开箱即用,快速配置;
  • 全自动管控与运维: 自动化管控与分配 token server 资源,自动化运维能力保障可用性,用户无需关注服务端资源准备与分配,只需关注规则配置与业务流程;
  • 低性能损耗: 性能模式下对业务链路完全无时延增加,精确模式对业务链路的 RT 损耗控制在 3ms 之内,用户可放心使用;
  • 配套的可观测能力, 实时了解接口稳定性与规则生效情况。

下面我们就来用一个示例来介绍一下,如何快速将应用接入 AHAS 来玩转集群流控能力,保障服务稳定性。

快速玩转 AHAS 集群流控

第一步,我们将服务或网关接入 AHAS 流量防护。AHAS 提供多种快速便捷的无侵入接入手段:


                                            如何利用 “集群流控” 保障微服务的稳定性?

AHAS 流量防护支持 Java/Go/C++/PHP 等多语言原生接入,以及 Nginx/Ingress 网关接入和 Mesh 接入;Java 应用支持全方位的 20+ 种微服务框架/组件(详情见文末相关链接):

  • Web 服务端:Spring Web/Spring Boot/Spring Cloud/Tomcat/Jetty/Undertow
  • Web client:OkHttp/Apache HttpClient
  • RPC:Dubbo/Feign/gRPC
  • DAO/缓存:MyBatis/Spring Data JPA/Memcached/Jedis client
  • MQ consumer:RocketMQ client/Kafka client/RocketMQ client
  • API Gateway:Spring Cloud Gateway/Zuul 1.x
  • Reactor 框架

接入 AHAS 成功后,只要触发服务调用/接口访问,即可在 AHAS 控制台(详情见文末相关链接)看到自己的服务,并可以在监控页面看到自己的接口:

第二步,我们在应用左侧菜单的“集群流控-集群配置”页面,开启集群流控功能。测试应用我们可以开启“试用”集群,不同的集群规格可以承载不同的 QPS 量级:


                                            如何利用 “集群流控” 保障微服务的稳定性?

第三步,我们在实时监控页面找一个接口,点击右上角的“+”号,新增流控规则(详情见文末相关链接)。以下示例中,我们对 /doSomething 这个接口配置集群流控规则,这个接口总的访问量每秒钟不超过 200 次。规则状态为“开启”,代表新增后实时生效。


                                            如何利用 “集群流控” 保障微服务的稳定性?

点击下一步,我们还可以给选择的 Web/RPC 调用配置防护规则触发后的处理逻辑(详情见文末相关链接),如自定义返回值。最终配置完成后,我们点击新增按钮,这条规则就会生效到每个节点。

配置完毕后,我们可以向应用集群中不同机器发起一定数量的该接口请求,可以发现每秒钟超过 200 个请求后会自动返回我们在规则中预设好的返回行为;同时控制台实时监控页面也可以看到,多余的流量被拒绝,接口每秒钟通过的总量级平稳在 200 QPS:


                                            如何利用 “集群流控” 保障微服务的稳定性?

通过几步简单的配置,我们就可以快速体验 AHAS 集群流控给业务流量带来“如丝般顺滑”的保护能力;同时最近 AHAS 还新上线 Nginx/Ingress 网关入口流量防护、Web 请求参数流控(详情见文末相关链接)等核心功能,欢迎大家点击阅读原文,在前往 AHAS 控制台进行快速体验。

相关链接

1)全方位的 20+ 种微服务框架/组件:

https://help.aliyun.com/document_detail/128800.html

2)AHAS 控制台:

https://common-buy.aliyun.com/?commodityCode=ahas_001#/buy

3)新增流控规则:

https://help.aliyun.com/document_detail/174871.html

4)防护规则触发后的处理逻辑

https://help.aliyun.com/document_detail/290938.html

5)Nginx/Ingress 网关入口流量防护

https://help.aliyun.com/document_detail/209640.html

6)Web 请求参数流控

https://help.aliyun.com/document_detail/337922.html