Redis集群性能问题深度分析

Redis集群性能问题深度分析


参考

Redis开发与运维
https://redis.io/
http://www.redis.cn/
https://github.com/anti_ x , 0 Q Frez/redis
https://github.com/sohutv/cachecloud


源起

优化之路永无止境,在此之前一做过一些架构优化汇总如下:
1,Redis集群3.0.7升级到3.2.9解决读从节点KB ? ; Q d ?EY过| 1 5 T f m p ? 4期不删V u X $除问题,集群P O F Q E 8 6 i有几& 4 P千万KEY原来经核查3.0.7版本只有主上保存过期时间,所以8 t Q G需要主触发G o N L b p b才能删除过期的KEY,默认有主动删除与惰性删除同时工作,但是KEY比较多,写的比删除的KEY,另外读从的话不能触发主动删KEY所以会有KEY没更新问题,升级3.2.X之后解决。
2,$ v T % S Q ] V y发现持久化操x $ G / u @ K作时容易导致超时,后来从节点的持久化关闭,效果良好;后续计划持久化非持久化业务分开,过期时间短的与过期时间长的分开。
2,集群扩容k D Z,升级到3.2.9版本后为了均, m = 9 X F摊QPS扩容了几个节点,后续发现有2个节点内核版本比其他的高但是性能反而表现比其s : 2 p k ` i k $他差,后替换了同版本的内核。
3h B O J n y,Bigkeys扫描发现有几个hashkey元素过大超过几千万,单个KEY占用内存几个G后联系开发解决。
4,建立了CacheCloud监控系统,便于分析观察问题,另外Zabbix也使用Redis模版出现大故障时会报错。
5,后续优化方向转为客户端使用规划的问题,主要是解决各个量大的命令平均用时超过10微秒的问题。
6,每个Redis集群版本升级在功能与性能上都有比较大的提升,需要持久化功能的集群后续可以使用4.0.2版本,另外如果使用虚拟化不建议使用XEN、Hyper-V等,最好使用vSphere压力测试vSphere在各方面表现良好。


一,发现问题

1,慢查询

slowlog get n 默认保留128个日志执+ 7 . | 4行超= Q S A { @ :过10毫秒的记录,可以根据实际情况修改

2,应用报错

主要是应用邮件报超时


二,分析问题

1,内在原因

1)API或数据结构使用不合理
2)CPU饱和的问题
3)持久化相关的阻塞

2,外在原因

1)CPU竞争
2)内存交换
3= G P 5 ~网络问题


三,解决问题之内在原因

1,API; { [或数据结构使用不合理

1)发现慢查询
slowlog get n
慢查询日志有两个参数:
slowlog-log-slower-than: 单位微妙,指定redis执行命令的最大时间,J W M 8 B A超过将记录到慢查询日志中, 不接受负值,如果设置为0每条命令都要记录到慢查询日志中,默认10微妙。
slowlog-max-len: 设置慢查询日n q ( X志长o } _ w n B $ R度,如果慢查询日志已经到最z / , % f r J大值,如果有新命令需要记录,就将最老那条记录删除,默认保存128,可以在线修改,C^ O / 7 rONFIG REWRITE保存。
redis-cli
127.0.0.1:6379> config get slowlog-max-len

  1. "slowlog-max-len"
  2. "128"
    127.0.0.1:6379> configC a [ 1 8 t set slowlog-max-len 1000
    OK
    127.0.0.1:6379> config rewrite
    OK

2)发现大key
redis-cli --bigkeys

2,CPU饱和

1)统计Redis状j N S
500QPS左右,单个命令使用时间越少支持的QP@ h 6 x }S并发越大,比如平均1毫妙的支持1000QPS,平均100微妙的支持10000QPS。
redis-cli --stat
------- d! # ! H Q b oata ------ --------------------- load ----------, } t G ~------b v p A U b---- - child -
keys mem client` ^ `s blocked r3 k C ` lequests connections
5088981 6.51G 514 0 578132987 (+0) 384742l s
50889_ . B97 6.51G 514 0 578133573 (+586) 384742
5089018 6.51G 514 0 578134096 (+523) 384742
5089005 6.51G 515 0 578134720 (+624) 384743
5089048 6.51G 515 0 578135195 (+Z 0 } a r % a g F47b + l5) 384743
5089093 6.51G 513 0 578135829 (+634) 384743
5089117 6.51G 513 0 578136455 (+626) 384743
5Z G 7 } 8 k T089081 6.51G 512 0 578136850 (+395) 384743
5089121 6.51G 512 0 578137226 (+376V v 1 * ` -) 384743

2)命令统计
时间单位为微秒
单个命令10微妙以内,尽量避免高算法复杂的命令
setex平均26
del 平均43
hmset平均229
hmget平均12
以上特别是hmset要优化,另外hgetall命令不建议使用

redis-cli info commandstats

Commandstats

cmdstat_get:calls=28z P P & f L14596805,use. Y : 6 $ (c=12130889716,usec_per_call=4.31
cmdst) B D + ] : wat_set:calls=25674338,usec=234328226,usec_per_call=90 9 7 d O | Z =.13
cmdstat_setex:calls=910333006,usec=20767349072,uT p k k . n ?sec_p` o z 3 V - C s ver_call=22.81
cmdstat_del:calls=780287520,usec=33983500560,usec_per_call=43.55
cmdstat_lpush:calls=1,usec=34,usec_per_call=34.00
cmdstat_hset:calls=145663119,usec== 5 / + k # 2 f499130659,u! s j } , O @ 5sec_per_call=3.43
cmT p 7 I K ]dstatL E ~ S _ ? L i_hget:calls=2841141555,usec=13763160250,useP S /c_per_call=4.84
cmdstat_hmset:calls=145T D N w m2658,usec=333516295,Y 8 V A | B v |usec_per_call=229.59
cmdstat_hmget:calls=970024532,usec=11909915205: 7 ! t 3 N,usec_per_call=12.28
cmdstat_hdel:calls=581004,usec=3925702,usec_per_call=6.76
cmdstat_hgetall:calls=28985688,usec=555451600,usec_per_call=19.16
cmdstat_hexiK N Jsts:calls=2625_ B . K ` K E $47,usec=2867627,usec$ 7 ? & ` R $ ^ N_per_call=10.9= G I j ( F S2
cmdstat_select:calls=1,usec=1,usec_per_call=1.00
cmdstat_expire:calls=72409493,usec=101731304,usec_per_call=1.40
cmdstat_auth:calls=1544789,usec=2890530,usec_per_call=1.87
cmdstat_ping:calls=4977672,usec=2672430,usec_per_call=0.54
cmdstat_echo:calls=697770,usec=3j 8 i 2 @ b 5 S j89 N N W c 20462,usec_per_cM ? t | s r S ^all=0.55
cmdstat_info:calls=32700948,usec=7243085428,usec_pT / ( Der_call=221.49
cmdsta7 ` n K b { Zt_config:ca] p B O [ h slls=2176619,usec=311R ~ ~ |68795,usi N P f D y S Kec_3 = C D $ Oper_call=14.32
cmdstat_subscribe:calls=1717,usec=728E 5 } a ) t3,usec= * + &_per_call=4.24
cmdstat_q c hunsubscribe:N 0 r # F 8 9cat e A Dlls=5506966,usec=21985t d G 6 t K846,usec_per_call=3.G 4 [ C . I99
cmdu } 5 2stat_cluster:callZ T g .s=696482,usec=210160284,usec_per_call=301.75
cmdstat_readonly:calls=696449,usS U Q iec=4378( D x %83,usec_per_call=0.63
cmdsta E R rt_client:calls=697770,usec=1869891,usec_per_call=2.68
cmdstat_slowlog:calls=2,usec=214,usec_per_calb T h ? y C r /l=107.00
cmdstI j ^ +at_command:calls=2` p 3 8 * + G k,usec=11824,usec_per_call=5912.00

3)持久化阻塞
由于从已经关闭持久化,主要分析主的,主上只[ g z 3 8 s ) ) =开启了RDB且10分钟一次,没有开启AOF刷盘阻塞(故不用考虑)
fork阻塞:latest_fork_usec该指标不能超过1秒,这里是275毫秒
redis-cli info stats

Stats

total_u ] , t } % ^connections_received:384861{ e } Z d ( )
total_command9 O i r q c t fs_processed:578276973
instantaneouq i e e / ; e I fs_ops_per_sec:509
toN K } E r H f ltal_net_input_bytes:530863235402
total_net_output_bytes:1584445816901
instantl J F yaneous_input_kbps:668.38
instantaneous_output_kbps:t } 9 Z J q 8 @ F838.84
rejected_D l } 7 d l & Y jconnectiond H p Is:0
syn3 6 y ec_full:1
sync_partial_ok:0
sync_partial_err:0
expired_keys:164| : B683638
evicted_keys:0
keyspace% Z 7 ] W_hits:193101765
k0 $ 7 U 8eyG i # l L Tspace_misses:12414607
pubsub_channels:0
pubsub_patterns:0
latesC @ it_fork_usec:275078 275毫秒
migrate_cached_sockets:0

另外HugePage写操作阻塞,这个内核已经f a k % E M 7 d x关闭HugePages,方法如下
echo nevb * x E B X 4 ;er > /sys/kernel/mm/transparent_~ 8 n E x { k 7 !hugepage/enabled


四,解决问题之外在原因

1,/ Y Z 5 C U !CPU竞争

Redi M + : E m 8 * vis是典型的CPU密集型应用,同一台服务q : @ : s s Y r 0器不建议部署其他服务,如果需要不是多个Redis实例也建议绑定CPU。

2,内存交换

1)根# 0 V 据进程号cat /proc/5413/smaps |grep Swap` P [ z v ,可以查看内存交换,为了避免内存交换,首先服务器最好富余1/3-1/l . ) s p2内存,fork时会生成一个进程占用当前实例大小的内存,等于说内存加倍。

2)设置最大可用内存及触发内存启动lru算法(Redis版本越高该算法效率越高,因为Redis一直在进化)以防万一,方法如下:
127.0.0.1:l I n6379> CONFIG GET maxmemory

  1. "maxmemory"
  2. "21474l s 0 | q 0 j 836480"
    127.0.0.1:6379> CONFIG GET maxmemory-policy
  3. "maxmemory-poli* Y ~cy"
  4. "allka { % = = d 6 Beys-lru"

3)可以降低系统使用swap的优先级,由于% ^ } a u P Q前面对内存做了优化这里没有对s6 J Z d U & dwap调优,毕竟 U ! # 8 7 X B这些都是不得已手段,需要从架构与使用上修改效果才好。

3,网络问题

1): E h连接拒绝
主要是网络闪断接Red^ } ~ q y wis连接数超过默认的10000,可以通过监控与修改默认值规避。目前连接不多,如果连接过d [ b k $ y c多服务端的timeout可以修改一个具体的值,默认是0代J Z % ; % m表永远不主动断开连接。
M l X F u 6外连接溢出,这个服务端与客户端都需要排查,主要是看进程限制与backlog队列是否溢出。
2)网络延迟
3)网卡软中断