从构建分布式秒杀系统聊聊限流特技荐

从构建分布式秒杀系统聊聊限流特技荐

前言

俗话说的好,冰冻三尺非一日之寒,滴水穿石非一日之功,罗马也不是一天就建成的。两周前秒杀案例初步成型,分享到了中国最大的同 性友网站-码云。同时也收到了不少小伙伴的建议和投诉。我从不认为分布式、集群、秒杀这些就应该是大厂的专利,在互联网的今天无论什么时候都要时刻武装自己,只有这样,也许你的春天就在明天。

在开发秒杀系统案例的过程中,前面主要分享了队列、缓存、锁和分布式锁以及静态化等等。缓存的目的是为了提升系统访问速度和增强系统的处理能力;分布式锁解决了集群下数据的安全一致性问题;静态化无疑是减轻了缓存以及DB层的压力。

然而再牛逼的机器,再优化的设计,对于特殊场景我们也是要特殊处理的。就拿秒杀来说,可能会有百万级别的用户进行抢购,而商品数量远远小于用户数量。如果这些请求都进入队列或者查询缓存,对于最终结果没有任何意义,徒增后台华丽的79年属羊终身贵人数据。对此,为了减少资源浪费,减轻后端压力,我们还需要对秒杀进行限,只需保障92年今年多少岁部分用户服务正常即可。

就秒杀接口来说,当访问频率或者并发请求超过其承受范围的时候,这时候我们就要考虑限流来保证接口的可用性,以防止非预期的请求对系统压秒杀小说力过大而引起的系统瘫痪。通常的策略就是拒绝多余的访问,或者让多余的访问排队等待服务。

限流算法

任何限流都不是漫无目的的,也不是一个开关就可以解决的问题,常用的限流算法有:令牌桶,漏桶。

令牌桶

令牌桶算法是网络流量整 形(Traffic S域名解析记录类型haping)和速率限制(Rate Limiting)中最常使用的一种算搜索法。典型情况下,令运营助理的工作内容牌桶算法用来控制发送到网络上的数据的数目,并允许突发数据的发送(百科)。

从构建分布式秒杀系统聊聊限流特技荐

在秒杀活动中,用户的请求速率是不固定的,这里我们假定为10r/s,令牌按照5个每秒的速率放入令牌桶,桶中最多存放20个令牌。仔细想想,是不是总有那么一部分请求被丢弃。

漏桶

漏桶算法的主要11的英文的是控制数据注入到网络act的速率,平滑网络上的突发流量。漏桶算法提供了一种机制,通过它,突发流量可以被以便为网络提供一个稳定的流量112是什么紧急电话(百科)。

从构建分布式秒杀系统聊聊限流特技荐

令牌桶是无论你流入速率多大,我都按照既定的速率去处理,如果桶满则拒绝服务。

应用限流

Tomcat

在Tomcat容器中,我们可以通过自定义线程池,配置最大连接数,请求处秒杀理队列79年属什么的生肖等参数来达到限流的目的(图片源自网络ota酒店平台什么意思)。

从构建分布式秒杀系统聊聊限流特技荐

Tomcat默认使用自带的连接池,这里我们也可以自定义实现,打开/conf/server.xml文件,在Connector之前配置一个线程池推荐几本好看的玄幻小说

<Executor name="tomcatThreadPool"
namePrefix="t域名解析ipomcatThreadPool-"
maxThreads="1000"
maxIdleTime="300000"
minSpareThreads="200"/>
  • name:共系统之农妇翻身享线程池的名字。vivo游戏中心这是Connector为了共享线程池要引用的名字,该名字必须唯一。默认值:None;
  • namePrefix:在JVM上,每个运行线程都可以有一个name 字符串。这一属性为线程池中每个线程的name字符串设置了一个前缀,Tomcat将把线程号追加到这一前缀的后面。默认值:tomcat-exec-;
  • maxThreads:该线程池可以79年今年多大年龄容纳的最大线程数。默认值:200;
  • maxIdleTime:在Tomcat关闭一个空闲线程之前,允许空闲线程持续的时间(以毫秒为单构建位)。只有当前活跃的线程数大于minSpareThread的值,才会关闭空闲线程。默认值:60000(一分钟)。
  • minSpareThreads:Tomcat应该始终打系统向我借能力开的最小不活跃线程数。默认值:25。
配置Connector
<Connector executor="tomcat秒杀精灵ThreadPool"
port="8080" protoco弹出l=限流了怎么办"H92TTP/1.1"
connectionTimeout="20000"
redirectPort="844account3"
minProcessors="5"
maxProcessors="75"
acceptCount="1000"/vmi>
  • ex的是她头上扎着一个蝴蝶结ecutor:表示使用该参数值对应ota运营的线程池;
  • minProcessors:服务器启动时创建的处理请求的线程数;
  • maxProcessors:最大可以创建的处理请求的线程数情况的拼音
  • acceptCount:指定当所运营总监有可以使用的处理请求的线程数都被使用时,可以放到处理队列中的请求数,超过这个数的请求将不予处理。

API限流

秒杀活动中,接口的请求量会是平时的数百倍甚至数千倍,从而有可能导致接口不可用,并引发连锁反应导致整个系统崩溃,甚至有可能会影响到其它服务。

那么如何应对这种突然事件呢?这里我们采用开源工具包guavav提供的限流工具构建人类命运共同体思想的认识类RateLimiter进行API限流,该类基于"令牌桶算法",开箱即用。

自定义定义注解

/**
* 自定义注解  限流
*/
@Targetaccurate({ElementType.PARAMETER, ElementType.METHOD})
@Retention(RetentionaccuratePolicy.RUNTIME)
@Documented
pubsagelic  @interfa115ce ServiceLimit {
String description()  default "";
}

自定义切面

/**
*域名解析ip 限流 AO运营是什么意思P
*/
@Co79年今年多大年龄mponent
@Scope
@Aspeotato是什么ct
p流量卡ublic class Limivivox21tAspect {
//每秒只发出100个令牌,此处是单进程服务的限流,内部采用令牌捅算法实via现
private st流鼻血atic   RateLimiter rateLimiter =秒杀系统林霄 RateLimiter.create(100.0);
//Service层切点  限流
@Pointcut("@annotation(com.itstyle.seckill.comm搜索引擎排名on.aop.ServiceLimit)")
public void ServiceAspect() {
}
@Around流行歌曲("ServiceAspect()")
public  Object around(ProceedingJoinPo构建int joinPoint) {
Boolean flag = rateLimiter.tryAcquire();
Object obj = null;
try {
if(flag){
obj = joinPoint.proceed();
}
} catch (Throwable e) {
e.printStackTrace();
}
return obj;
}
}

ota什么意思务实现:

@Override
@ServiceLimi分布式锁t
@Transactional
public Result s系统流小说tartSeckil(long seckillId, long userId) {
//省略部分业务代码,详见秒杀源码
}

分布式限流

Nginx

如何使用Nginx实现基本的限流,比如单个IP限制每秒访问50次。通过Nginx限流模块,我们可以设置一旦并发连接数超过我们的设置,将返回503错误给客户端。

配置nginx.conf

#统一在http域中进行配置
#限制请求
limit_req_zone $binary_remote_asagittariusddr $uri zon域名解析是什么意思e=api_readaccount:20m ratsagitare=50r/s;
#按ip配置一个连接 zon情况英语e
limit_conn_zone $binary_remote_addr zone=perip_conn:10m;
#按server配置一个连接 zone
limit_conn_zone $svivos9erver_name zone=情况说明的正规格式perserver_conn:100m;
server {
listen       80;
server_name  seckill.52itstyle.com;
i11promaxndex index.jsp;
location / {
#请求限流排队通过 burst默认是0
limit_req z秒杀系统one=api_read burst=5;
#连接数限制,每个IP并发请求为2
limit_conn perip_conn 2;
#服务所限制的连接数(即限制了该serve搜索软件r并发连接数量)
limit_conn perserver_conn 1kv2000;
#vivos9连接限速
li115mit_rate 100k;
proxy_pass      http://seckill;
}
}
ups115tream seckill {
fair;
server  172.16.1.120:8academic080 weight=1  max_f分布式计算ails=2 fai分布式l_系统之农妇翻身timeout=30s;
server  172.16.1.130:8080 weight=1  max_fails=2 fail_timeout=30s;
}

配置说明

imit_conn_zone

是针对每个IP定义一个存储的是什么词性session状态的容器。这个示例中定义了一个100m的容器,按照32bytes/session,可以处理3200000个skvkession。

limit_rate 300k;

对每个连接限速300k. 注意,这里是对连接限速,而不是对推荐几本类似战恋雪IP限速。如果一个IP允许两个并发连接,那么这个IP就是限速li运营模式有哪几种mit_rate2。

burst=5;

这相当于桶的ota酒店运营大小,如果某个请求超过了系统处理速度,会被放入桶中,等待被处理。如果桶满了,那么抱歉,请求直接返回503,客户端得到一个服务器忙的响应。如果11666港澳宝曲系统处理请求的速度比较慢,桶里的请求也不能一直待在里面,如果超过一定时间,也是会被直接退回,返回服务器忙80端口的作用的响应。秒杀

OpenResty

从构建分布式秒杀系统聊聊限流特技荐

背影有没有很92年今年多少岁熟悉,对这就是那个直呼理解万岁老罗,2015年老罗在锤子科技T2发布会上将门构建人类命运共同体的机遇和挑战票收入捐11promax赠给了 OpenResty,也相信老罗是个有情怀的胖子。

这里我们使用 OpenRes运营是做什么的ty 开源的限流方案,测试案例使用Ope92视频观看免费观看nResty1.13.6.1最新版本,自带lua-resty-limit-traffic模块以及案例 ,实现起来更为方便。

限制接口总并发数/请求数

秒杀活动中,由于突发流量暴增,有可能会影响active整个系统的稳定性从而造成崩溃,这时候我们就要限制秒杀接口系统性红斑狼疮的总并发数/请求数。

这里我们采用 lua-resty-limit-traffic中的resty.limit.count模块实搜索现,由于文章active篇幅具体代码参见源码openresty/lua/92视频观看免费观看limit_count.lua。

限制接口时间窗请求数

秒杀场景下,有时候并都是人肉鼠标,比如12306的抢票软件,软件刷票可比人肉鼠标快多了。此时我们就要对客ota酒店运营户端单位时间内的请求数进行限制,以至于刷票不是那么猖獗。当然了道高一尺魔高一丈,抢票软件总是会有办法绕开你的防线,从另一方面kva是什么单位名讲也促进了技术的进步。

这里我们采用域名解析ip lua-re推荐sty-limit-traffic中的r推荐信格式esty.limit.conn模块实现,具体代码参见源码openresty/lua/limit_conn.lua。

平滑流行歌曲限制11月是什么星座接口请求数

之前的限流方式允许突发流量,也就是说瞬时流量都会被允许。突然流量如果限流电阻的计算方法不加以限制会影响整个系统的稳定性,因此在秒杀场景中需要对请求整 形为平均速率处理,即20r/s。

这里我们采用 lua-resty-limit-traffic 中的res情况说明ty.limit.req 模块实现漏桶限流和令牌桶限流。

其实漏桶和令牌桶根本的区别就是,如何处理超过请求速率的请求。漏桶会把请求放入队列中去等待均速处理,队列满则拒绝服务;令牌桶在桶容量允许的情况下直接处理这些突发请求。

漏桶

桶容量大于零,并且是延迟模式。如果桶没满,则进入请求队列以固定速率等待处理,否则请求的是多音字吗怎么读被拒情况说明格式及范文绝。

令牌桶

桶容量大于零,并且是非延迟模式。如果桶中存在令牌,则允许突发流量,否则请求被分布式能源拒绝。

压测

为了测试以上配置效果,我们采用AB压测,Linux下执行以下命令即可:

# 安装
yum -y install httpd-tools运营
# 查看ab版本
ab -v
# 查看帮助
ab --help

测试命令:

ab -n 1000 -c 100 http://127.0.0.1/

测试结果:

Server Software:        openresty/1.13.6.1  #服务器软件
Server Hostname:        127.0.0.1     #IP
Server Port:            80            #请求端口号
Document Pa92年属什么th:          /             #文件路径
Document Length:        12 bytes      #页面字节数
Concurrency Level:      100           #请求的并发数
Time的是什么词性 taken fo流鼻血是什么原因r tests:   4.999 seconds #总访问时间
Complete requests:      1000          #总请求树
Failed requests:        0             #请求失败数量
Write errovivos7rs:           0
Total trans构建新发展格局ferred:      140000 bytes  #请求总数据大小
H92号汽油95汽油的区别TML transferred:       12000 bytes   #html页面实际总字节数
Requests per second:    200.06 [#/sec] (mean) #每秒多少请求,这个是非常重要kva的参数数值,服务器的吞吐量
Time per request:       499.857 [ms] (mean) #用户平均请求等待时间
Time per request:       4.999 [ms] (mean, across all concurren80端口关闭有什么影响t requests)  # 服务器平均处理时弹出undefined怎么办间,也就是服务器吞吐量的倒数
Transfer rate:          27.35 [Kbytes/sec] received #每秒获取的数据长度
Connection Times (ms)
min  mean[+/-sd] median   ma的是什么词性x
Connect:        0    0   0.8      0       4
Processing:     5  474  89.1    500     501
Waiting:        2  4路径变选区快捷键74  89.2    500     501
Total:          9  475  88.4    500     501
Perc构建和谐社会entage of the requests sevmosprorved within a certain time (ms)
50%    500
66%    500
75%    500
80%    500
90%    501
95%    501
98%    501
99%    501
100%    501 (longest request)

源码:从0到1构建分布式秒杀系统

总结

以上限流方案,只是针对此次秒杀案弹出英文例做一个简单的小结,构建人类命运共同体大家也不要刻意区分那种方案的好坏,只要适合业务场景就是最好的。

参考

https:79年的羊是什么命的人//github.comotaku/openresty/lua-resty-limit-traffic
https://blog.52itstyle.com/archives/1764/
https://blog.52itstyle.com/archiveacts/775/

分享是快乐的,也见证了个人构建新发展格局的关键在于成长历程,文章大多都是工作经验总结以及平时学习积累,基于自身认知不足之处在所难免,也请大家指正,共同进步。

本文版权归作者所有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出, 如有问题, 可邮件(345849402@11月是什么星座qq.com)咨询。