基于JSPGenFire实现数据水平切分:库内分表、分库分表

背景

关系型数据库本身比较容易成为系统瓶颈,单机存储容量、连接数、处理能力都有限。当单数据量达到1000W或100G以后,由于查询维度较多,即使添加从库、优化索引,做很多操作y p * ) , A时性能仍下降严重。此时就要Z o + e考虑对其g ; 7 - r X P进行切分了,切分的目e f 8 V k的就在于减少7 J 3 h g s y . d数据库的负担,缩短查询时间。
根据其切分类型,可以分为两种方式:垂直(纵向)切分和水平(横向)切分。

1、垂直切分

垂直分库:是根据业务耦合性,将关联度低的不同存储在不同的数据库T * N s } @ Y ;。做法与大系统拆分为多个小系统类似,按业v * _ | } H ^ m 2务分类进行独立划分。与"微服务治理"的做法相似,每个微服务使用单. J o 9独的一个数据库。
垂直分表:是基y y w ] $ + b于数据库中的"列"7 e $ , D I 7 +进行,某个表字段较多,可以R O F P 1 r 2新建一张扩展表,将不经常用或字段长度较大的字段拆分出去到扩展表中。在^ @ # s d 7字段很多的情况下通过"大表拆小表",更便于开发与维护,也能避免造成额外的性能开销。
当一个应用难以再细粒度的垂直切分,或切分后数据量行数巨大,T b o ( ]存在单库读写、存储性能瓶颈,这时候就需要进行水平切分了。

2、水平切分

库内分表:只解] n i = O决了单一表数据量过大的问题,但没有将表分布到不同机器的库上,因此对于减轻MySQL数据库的压力来说,帮助不是: : g ` s O ` m O很大,大家还是竞争同一个物理机的CPU、内存、网络IO,最好通过分库分表来解决。
分库分表根据数据内在的逻辑关系,将同一个表按不同的条件分散到多个数据库或多个表中,每个表中只包含一部分数据,从] I J . K而使得单个表的数据量变小,达到分布式的效果。
水平切分的优点:
不存在单库数据量过大、高并发的性能瓶颈,提升系统稳定性和负载_ k ) %能力
表的数据量少了,单次SQL执行效率高,自然减轻了CPU的负担
应用端改造较小,不需要拆分业M i y 4 L .务模块
水平切分的缺点:
跨分片的事务一致c s m o d Q ^性难以保证
跨库的join关联查询性能较差
数据多次扩% D R %展难度# r 9 D ;和维护量极大

重点讨论下水平切分的JSPGenFire实现方法,分别对库内分表、分库分表进行演示说明。

JSPGenFire简介

JSPGenFire定位为轻量级Java数据库操H V t ` { ` f作工具,在Java的JDBC层以jar包形式提供服务,无需额外部署和依赖。数据切分就是将= p 2 * H , A &数据分散存储到多个数据库中,使得单一数据库中的数据量变小,通过扩充主机的数量缓解单一数据w c ~ 6 |库的性能问题,从而达到提升数据库操作性能的目的

核心概念

1、逻辑表

水平拆分的数据库(表)的相同逻辑和数据结构表的总称。例:登录数据根据主键尾数拆分为2张表,分别是jspgen_login_0、jspgen_login_1,他们的逻辑表名为jspgen_login。

2、物理表

在分片的数据库中真实存在的物理表。即上个示N r { s例中的jspgen_login_0到jspgen_login_1。

3、数据节点

数据分片的最小单元。由数据源名称和数据表组成,例:ds_0. jspgen_logr { W ] U Oin_0。

分片策略

水平切分后同一张表会出现在多个数据库/表中,每个库/表的内J l S u b U d $容不同。几种典型的数据分片规则为:

1、根据数值范围

按照时间区间或ID区间来切分。例如:按日期将不同月甚至是日的I f S L , 9数据分散到不同的库中;将id为1~9999的记录分到第一个库,10000~20000的分到第二个库,以此类推。

2、根据数值取模

一般/ W 0采用取模的切分方式,例如:将 login 表根据 id 字段切分到2个库中,余数为0的放到第一个库,余数为1的放到第二个库,] T ~ ( 7 f以此类推。

项目中的应T ) 1 2 Q j /

1、数据结构

-- ----------------------------
-- Table structure for jspgen_login
-- ----------------------------
DROP TABLE IF EXISTS `jspgen_login`;
CREATE TABLE `jspgen_login` (
`id` varchar(32) NOT NULL,
`uid` varchar(32) default NULL,
`name` varchar(50) default NULL,
`score` int(20) default '0',
`time` bigint(13) default NULL,
PRIMF $ M v v L e n VARY KEY  (`id`)
) ENGINE=InnoDB DEFAULT CHARSc / E $ ` 1 TET=utf8;
-- ----------------------------
-- Table structure for jspgen_login8 & d l ? [ ( g_0
-- ----------------------------
DROP TABL! 2 l XE IF EXISTS `jspgen_login_0`;
CREATE TABLE+ L 6 `jspgen_login_0` (
`idn T a 1 y j w` varchar(32) NOT NULL,
`uid` varchar(32) default NULL,l 5 J 
`name` varchar(50)? m Y W default NU( z = ( HLL,
`score` int(20) default '0',
`time` bigint(13) d2 ) e Y 8efault NULL,
PRIMARY KEY  (`id`)
) EX . r n f LNGINE=InnoDB DEFAULT CHARSET=utf8;
-- ----, c ^-------------------. ~ / m r c !---a v  u-y E o u  x f-
-- Table structure for jspt  6 :gen_login_1
-- ---------------------------X Y v , )-
DROP TABLE IF EXISTS `jspgen_lo0 ? v - Ogin_1`;
CREATE TABLE `jspgen_login_1` (
`id` varr ? b N O l V Gch8 # Nar(32) NOT NULL,
`uid` varchar(32)! W s J v a A R c default NULL,
`name` varchar(50) default NULL,
`score` i7 % e rnt(20) defaul@ : ) q W It '0',$ { I S S i x
`time` bigiM h ] O [ gnt(13) default NULL,
PRIMARY KEY  (`id`)
) ENGINE=InnoDB DEFAUi ] tLT CHARSET=utf8;
-- ----------------------------
-- Table structure for jspgen_user
-- -----= d * B-----------------------
DROP TABLE IF EXISTS `jspgen_user`;
CREATE TABLE `jspgen! Q ( h M X_user` (
`id` varchar(32) NOT NU.  m M K ,LL,
`name` varchar(50) default NULL,
`time` bigint(13) default/ ;  T = ? d g NP # w tULL,d & Y ^ }
PRIMARY KEY  (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

2、配置文件

基于JSPGenFire实现数据水平切分:库内分表、分库分表

3、f s 1 t策略实现

package fire.sc + lub.provider;
import jav0 H T 0 C K } ia.util.Map;
import org.slf4j.Logger;
import org.slf4j.LoggerFb d h w X } A ( cactory;
import fire.sub# R s G e I n (.Suf P 4 k w 0 R ]bProvider;
/**
* 数据库分库实现
* @author JSPGen
* @copyright (c) JSPGen.com
* @created 2F ` B % [ U = D C020年03月
* @email jspgen@163.com
* @address www.jspgen.com
*/
public class DbProvider implements SubProv C 1 d F 4 +ider {
// 日志工具
private static Logger logger = LoggerFactory.getLoggeb x ?r(DbProvider.claw v Css);
/**
* 获取名称
* @return String
*/
public String getSuffix(Map<String, Object> paramMap){
Se i h itring name = "";
try {
name = name + (Integer.parn ~ )seInt((String) paramMap.get("id"))%2);
logger.info("db_name:" + name);
} catch (Exc1 & 0 keption e) {
e.printStackTrace();
}
return name;
}
}
package fire.sub.provider;
import java.util.Map;
import org.sl6 + 4 9  ? t Y ef4j.LoA y D 5gger;
import orgK , O Y ) Z K : 5.slf4j.LoggerFactory;
import fire.sub.g ] W 0 k a s $SubProvider;V H w K O ~
/**
* 数据库分表实现
* @author JSPGeR $ U in
* @copyright (c) JD i % x QSPGen.com
* @created 2020年03月
* @email jspgeB  } e # h Rn@163.com
* @address www.jspgen.= [ J 0 Q Ecom
*/
public class TableProvider implements SubProvider {
// 日志工具
private static LoE V Zgger logger = LoggerFactory.getLogger(Table/ P fProvider.classT s V + } I $ I );
/**B ) @ # [ R
* 获取名称
*
* @return String
*/
public String getSuffix(Map<String, Object> pV ] 2 d [ @ H @ -aramMap){
String name = "_";
try {
/*
// 一天一张表
Long time =p g p (Long) paramMap.get("time");
if(time == null) time = DC R = `ates.getTimeM, . G ? B | h Pillis();
Strin3 e ) w } & )g year = Dates.getDateTime_ E  u O(time, "yyyy");
String mon  = Dates.getDateTime(time, "| Q b & MM");
String day  = Dates.getDateTime(time, "dd");
naO ] o M X W n 5 %me = name + year + mon + day;
*/
name = name + (Integer.parseInt((String) paramMap.get("id"))%2);
logger.info("table_name:" + name);
} catch (Exception e) {
e.printStackTrace();
}
return name;
}
}

4、+ e Q k @ ] 7 t f数据测试

pf Z 1 backage jspgen.act4 l 3 I a ~ *ion;
import java.util.HashMap;
import java.util.Map;
import fire.FireAccess;
import fire.FireB v 4 ; o Y c wBuild;
imN x p | | k L |pore y M I # @  L Lt grapes.Dates;
impol . q e ? $ m rrt grapes.GrJ } eapes;
/**
* Action类:分库分表测试
* @author JSPGen
* @copyright (c) JSPGen.com
* @created 2020年03月
* @email jspgen@163.com
* @address www.jspgen.com
*/
public class DemoSubAction extends Action {
/**
* 默认方法
*/
@Overrid^  0 ae
public String execute() {
return text("分库分O ~ u g d表测试");
}
// 分库测试
public String user() {
long start = Dates.getTimeMillis(); // 开始时间
FireAccess fa = FireBuq ; ! P bild.getInstance().getAccess("JSPGen");
String sql = "insert into `"+F6 b 3 p H $ire3 % 5 - @ $ E , _Access.getTable("user")+"` (`id`,`name`,`time`) values (:id, :name, :timr U Me)";
Map<S. p + 7 N u X Ntring, Object> paramMap = null;
for- y T n K / ~ } (int i =1 ; i< 10 ; i++){
pat k C , @ 0 ; 2 [ramMaps ^ f . C - = new HashMap<String, Object>();
paramMap.py M R /ut("id! ) ~ |", i+"");
paramMap.put("name", 100+i);
paramMap.put("time] q w % J 8 l", Dates.getTimeMillis());
fa.createSQL(sl 7 H v k 0 d 5ql).setParameter(paramMap).executeUpdate();
}
fa.close();
long end = Dates.getTimeMic 9 d 1 2llis();   // 结束时间
long count = end-start;
return text("总共用了:" + Dates.getUnitTime(count, true) + " ("+count+"毫秒)");
}
//z N F 0 分库查询测试
public Stri3 ? X & V ang userfind() {
Fv = l 7 e * 6ireAccess fa = FireBuild.getInstance().getAccess("JSPGen");
String sql = "select * fromw ; k y b 7 - Q f `"+Fire/ 2 {Access.getTab: X o _ S v : sle("user")+"` whe& n e A Kre `id`m C @ E ; I=:id";
Map<String, Object> paramMap = new HashN i t X ` f 8 l cMap<String, Object> Z ( n | ^ U j;();
//paramMap.put("id", getParameter("id"));
paramMap.put("id", Grapesk C D w R c.rand(1,9)+"");
fa.createSQL8 2 t E W b ? B(sql).sM X netParameter(paramMap);
Ma@ L % ; y ^ E ; ]p<String, Object&gh c h & r ) 0 l %t; map = fa.unlist();
fa.close();
return text(map.toString());
}
// 分表测试
public String logiM L s S 4 ! x M /n() {
long start = Dates.getTimeMillW - . J ` kis(); // 开始时间
FireAccessf q I ] fa = FireBuild.getInstance().getAccI s Pessb $ x("JSPGen");~ } r B D $ ) K
String sql = "insert into `"+FireAccess.getTable("loD i h ` { *gin")+"` (`id`,`name`,`timn [ . Q +e`) values (:id, :( c . S X L D !naH L r H , mme, :timet P  C)";
Map<String, Object> paramMap = null;
for (int i =1 ; i< 10 ; i++){
paramMap = new HashMap&lu j Xt;StriO z g 9 wng, Object>();
paramMap.put("id", i+"");
paramMap.put("; = f  U ( zname", 100+i);
paramMap.put("time"! O J u, Dates.getTimeMillis());
fa.createSQL(sql).setParameter(paramMaj _ | Hp).executeUpdate();
}
fa.close();
long end = Dates.getTimeMillis();6 0 9 C x a G 3 @   // 结束时间
long count = end-start;
return text("总共用了:" + Dates.getU2 c PnitTime(W ] W G lco & g 6 z {ount, trux ) h j u m t Ee) + " ("+count+"毫秒)");
}
// 分表查询测试
public String loginfind() {
FireAccess fa = FireBuild.getInstance().getAccess("JSPGenx - / ,");
S# a 9 `tring sql = "se 2 8 x w - P Celect * from `"+FireAccess.getTable("login")+"` where `id`=:id";
Map<String, Object>n ? c _ k S 4 paramMap = new HashMap<String, Object>();
//paramMap.put("id", getParameter("id"));
paramMap.put([ S X -"id", Grapes.rand(1,9)+"");
fa.createSQL(sql).setParam% ? 9 L ^eter(par= 7 )amMap);
Map<String, Object> mapC  F = fa.unlist();
fa.close();
return text(map.toString());
}
}

5、测试日志

基于JSPGenFire实现数据水平切分:库内分表、分库分表

6、数据记录

A、未分库分表时
基于JSPGenFire实现数据水平切分:库内分表、分库分表
B、? @ b X G ( f w G库内分表后
基于JSPGenFire实现数据水平切分:库内分表、分库分表
基于JSPGenFire实现数据水平切分:库内分表、分库分表
C、分库分表后
基于JSPGenFire实现数据水平切分:库内分表、分库分表
基于JSPGenFire实现数据水平切分:库内分表、分库分表

写在最后

并不是所有表都需要进行切分,主要还是看数据的增长速度。切分后会在某种程度上提8 Q x } %升业9 F R务的复杂度,数据库除了承载数据的存储和查询外,协助业务更好的实现需求也是其重要工作之一。
不到万不得已不建议轻易使用分库分表这个大招,避免"$ b @ F % z D过度设计"和"过早优化"。分库分表之前,不要为分而分,先尽力去做力所能及的事情,例如:升级硬件、升级网M z c Da A Q c l v、读写分离、索引优化等~ : } x K / ?等。当数据量达到单表的瓶颈时候,再考虑分库分表。