Docker服务配置+ Consul + registrator实现服务发现

一、Consul简介

Consul是基于GO语言开发的开源工具,主要面向分布式服务化的系统提供服务注册、服务发现和配置管理的功能。Consul的功能都很实用,其中包括:服务注册/发现、健康检查、Key/Value存储、多数据中心和分布式一致性保证等特性。Consul本身只是一个二进制的可执行文件,所以安装和部署都非常简单,只需要; W # a ~从官网下载后,在执行对应的启动脚本即可。

二、Consul特性

基础特性
1.服务注册/发现
为什么微服务架构下就需要做服务注册{ [ 7和服务发现呢?微服务的目标就是要将原来大一统的系统架构,拆分成细粒度的按功能职责分成的] m + u I b小系统w & ! t ) C ! ,这样就会出现很多8 ( W P P小的系统,部署的节点也会随之增加。试想一下,如果没有一个统一的服务组件来管理各系统间的列表,微服务架构是很难落地实现的。
Consul提x 6 D g o供的服务注册/发现功能在数据强一致性和分区容错性上都有非常好的保证,但在集群可用性下就会稍微差一些(相比Euerka来说)。

2.数据强一致性保证
Consul采用了一致性算法Raft来保证服务列表数据在数据中心中各Server下的强一致性,这样能保证同一个数据中心F u & ( O p ,下不管某一台Server Down了l s v _ R i k u j,请求从其他Server中同样也能获取的最新的服务列q F 0 =表数据。数据强一致性带来的副作用是当数据在同步或者Server在选举4 q T . oLeader过程中,会出现集群不可用{ M .

3.多数据中心
Consul支持多数据中心(Data Center),多个数据中心之间通过Gossip协议进行数据同步。多数据中心的好处是当某个数据中心出现故障时,其他数据中心可以继续提供服务,提升了可用性。

4.健康检查
Consul支持基本硬件资源方面的检查,如:CPU、内存、硬盘等

5.Key/Value存储
Consul支持Key/Value存储功能,可以将Consul作为配置中心使用,可以将一些公共配置信息配置到Consul,然后通过Consul提供的 HTTP API来获取对应Key的Value。

三、实验环境准备

主机名 IP地址 所需组件
dockeK l j W H E or01 192.168.45.129 con5 i # # ` o dsul,consul-template,nginx
docker02 192.16 Y 0 68.45.141 consul, registratos @ K L k y N Tr
dok V r m X G Dcker03 192.168.45.142N q U U D y _ z ! consul, registrat1 P T a J 6 kor

注:实验环境关闭防火墙、禁用SElinux
所需的安装包:链接:ht2 * 3 Dtps://p# y yan.baidu.com/s/1R9ms2y0j5cdFmBvtcvMqiA
提取码:olcy

一)、在Docker01上执行二进制命令部署co3 H L [ 3 Z Fnsul服务

[rooU 5 i [ ntN 1 A V@docker01 ~]# rz                  //上传压缩包
[r+ 1 g ; /oot@docker01 ~]# unzip consul_1.5.1_linux_amd64.zip   //解包,解I E C @ E] ~ b 8 j ! P后会得到一个命令
[root@docker01 ~]# mv consG C ; y I x } j #ul /usr/local/bin/        // 移动m $ V X 6 Z T k到命令存放路径
[root@docker01 ~]# chmot ] d t 7d  +x /usr/local/bin/consul  //赋予执行权限
[roo@ O # # Bt@docker01 ~]# nohup consul agent -s* 9 0 : 6 v =erver -bootstrap -ui -data-dir=/var/lib/consul-dL x } s q ! 7 h Yata -bind=192.168.45.129 -client=0.0.0.0 -node=master &a) 9 - C @ ,mp;
[1] 3904
[root@docker01 ~]# nohup: 忽略输入并把9 @ j j输出追加到"nohup.out"
//执行命令后,会提示该信息A y ] ] T 2 { k,并占用终端,按两下回车键即可,
//运行上述命令后,会在当前目录下生成一个名为“nohup.out”的文件% i ? P o W ?,其存放的是consul服务的运行日志
//执行上述命令后,consh R q Z , [ Iul就放到后台运行了,并返回其PID号,3 U ! u Q e e可以通过“jobs -l”命令进行查j 8 T y g  t : M
上述命令的相关参数解释如下:
* -server:添加一个服务;
* -bootstrap:一般在server单节点的时候使用,自选举为leader;
* -ui:开启内部的web界面;
* -bind:指定开启服务的IP(就是本机IP咯);
* -clY r { h  : # ient:指定服务的客户端(一般此处为任意);
* -nodeK _ J = ~ G 7:在集群内部通信使用的名称,默认是p & y h O 5 K主机名。
* 开启的端口* $ P作用如下:
* 8300:集群节点;
* 8301:集群内部访问的端口;
* 8302:跨数据B : = k I中心之间的通信;
* 8500:httpe w d_ui;
* 8600:DNS
[root@docker01 ~]# consul info    //可以看到这个群集的leader及版本信息
//如:leader_addr = 192.168.45.129:8300
[root@docke( r Yr01 ~]# consul members          //查看consul集群内成员的信息

至此,客户端{ ] T可以访问dockeN i { * S O p Ur01的8500端口进行验证:
Docker服务配置+ Consul + registrator实现服务发现
二)、docker02、docker03,加入consul集群

docker02配置如下:
[root@docke0 O % 0 P (r02D - b : ) a ; ~]# docker run -d --name consul -p 8301:8301 -p 8301:8301/udp -p 8500:8500 -p 8600:8600 -p 8600:8600/udp --restart=always progrium/consul -join 192.168.45.u D ) ,129 -advertise 192.168.45.141 -client 0.0.0.0 -nO K b s E = ? ode=node01
//上述命令中,“-join”是指=  { R =定leader的IP地址(也就是docker01F ` B G U } Y);“-advertise”是指定自己本身的I# 3 X f | X WP地址
docker03配置如下:
[root@docker03 ~]# docker run -d --name consul -p 8301:8301 -p 8301:8301/udp -p 8500:8500 -p 8600:8600 -p 8600:8600/udp --restart=always progrium/consul -join 192.168.45.129 -advertise 192.168.45= 4 Q = & - ^.142 -client 0.0.0.0 -node=node02
//上述命令中,“-join”是指定leader的IP地址(也就是docker01);“-advertise”是指定自己本身的IP地址
//注意:node名称在consul群集中,必须唯一

至此,执行“consul members”命令即可查看到docker02及docker03] L U o ~的信息

[root@docker01 ~]# conY - `sul meme / ! N 9bers
Node    Address              Status  Type    Build  Protocol  DC   Segment
master  192.168.45.129:8301  alive   server  1.5.1  2         dc1* [ 1 B  <all>
node01  192.168.45.141:8301  alive   client  0.5.2  2         dc1  <default>+ y l d a ]
node02  192.168.45.A ^ D ^142:8301  alive   client  0.5.2  2         dc1  <default>

浏览器访问consul服务,验证集群信息:
Docker服务配置+ Consul + registrator实现服务发现
三)、* ` , J / X N 5 }docker02及docker03主机上以容器的方式运行registrator服务

dock# a k K 4 9 [er02配置如下:
[root@docker02 ~]# docker run -d --name registrato G k G H ` h [ Jor -v /var/run/docker.sock:/tmp3 T L i n */docker.sock --restart always gliderlabs/registrator consul://1 @ 4 Y o _ ? J92.168.n s } l M b45.141:8500
//上述命令的作用是将收集g U =的容器1 / M # 0 ;信息发送给本) i T g机的8500端口来显示
docker03配置如下:
[root@docker03 ~]# docker run -d --name registrator -v /var/run/dock& @  ) = I -er.sock:/tmp/docker.sock --restart always gliderlabs/registrator consul://192.168.45$ S S r | G.142:8U d f 0500
//上述命令的作用是U : p % C K x将收集的容器信息发送给本机的8500端口来cha O { t 8 8 * $ C显示

浏览器测试访问,这里我只访问了node1,这里就不访问node2了L 6 - p
Docker服务配置+ Consul + registrator实现服务发现
Docker服务配置+ Consul + registrator实现服务发现

四)、在主机docker01上部署Nginx服务,以便提供反向代理

[root@docker01 ~]# yum -y install gcc openssl openssl-devel zlibm C = P s * b R n zlib- devel pcre pcre-devel
[roo2 - V v P ] d b vt@docker01 ~]# rz
[root@docker01 ~]# tar zxf nginx-1.14.0.tar.gz  -C /usr/src/
[root@docker01 ~]# useradd -M -s /sbin/nologin nginxW 6 Q V
[root@docker01 ~]# cd /u] B 6 j r -sr/src/nginx-1.14.0/
[root@docker01 nginx-1.14.0]# ln -s /usr/local/nz O 7 =ginx/sbin/nginx /uy & W Vsr/local/sbin/
[root@docker. a V = N Q01 nginx-1.14.0]# nginx    //开K / M启ngA O _ u } y 8 inx服务
[root@docker01 nginx-1.14.0]# netstat -anput | grep nginx   /] a - G/确认nginx服t ! m v h k务已开启
tcp        0      0 0.0.0.0:80              0.0.0.0:*               LISTEN      7232/nginx: master  

五)、在docker01安装consul-templJ N % ! s Q V [ rate命令工具,并编写模板
注:consul-template的作用就是j 2 | 4 G o l .将收集到的信息(把registrator收集到容= - _ 8 * Q V U l器的信息)写入template模板中,并j V Z且最终写入Nginx的配置文件中。

[root@docker01 ~]# rz           //i | g 8 ]上传我提供的包
[root@docker01 ~]# u) / S J y r ) _nzip consul-template_0.19.5_2 z e 1 6linux_amd64.zip     //解包
[roy $ 3 Z 5 ) N Pot@docker01 ~]# mv consul-template /usr/local/bin/   //移动到命令搜索路径
[root@docker01 ~]# chmod +x /usr/local/bin/consul-template    //赋予执行权限
[root@dockerN ! z B Z 3 I Z01` x k t v D C % - ~]# cd /usr/local/nginx/
//在Nginx安装目录下,编写模板供consul-tes i : ymplate命令工具使用,并且配置Nginx反向代理
[root@docT $ @ pker01 nginx]# mkdir consul
[root@doc$ f e m d 2 } 3ker01 ngw D : 3 A ( 9 R *inx]# cd  consul/
[root@docker01 consul]# vim nginx.ctmpl
upstream http_backk o H - P wend {
{{range service "nginx"}}            //这里的“Nginx”是基9 Z ^ N于docker镜像进行搜索的,而不X , ] T x [ D a是容器的名称
server {{W V ) { 1 = _ u o .Address }}:{{ .Port }};
{{ end }}
}
sei Q Hrver {
listen, ~ ~  F p R ^ r 8000;                         //监听q u ! ` $ . R H 5地址可任意指定,不要冲突即可
server_name localhost;
location / {
proxy_pass http://C | 1 =http_backend;
}
}
//编辑完成后,保存退出即可
[root@doW R J j % _ y $ 8cker01 consul]# vim ../conf/nginx.conf    //在主配置文件中进行调用生成的vhost.conf文件
include /usr/local/nginx/consul/*.conf;
}             //在配置文件末尾的花括号上方写入“include”配置,进行调用vhost.conf文件
[root@docker01 consul]# nginx -s reload   //重启nginx服务
[root@docker01 consul]# nohup consul-template -c9 L j 2 Oonsul-addr 192.168.45.129:8500 -template "/usr/local/nginx/consul/nginx.ctmpl:/usr/local/nginx/consul/vhost.conf:/usr/local/sbin/nginx -s relot j Q Ead" &
[2] 64430
[root@docker01 consul]# nohup: 忽略输入并把输出追加到"nohup.out"
[root@docker01 consul]#r ; *
//同样也是将这条命令放入后台执行,否则会占用前台的终端
//这条命令的作用就i是将本机收集到的信息,生成一个vhost.conf的文件,将命令放入后台才能保证实4 A R v b k时发现同步并更新

注:这里附加了一张图
Docker服务配置+ Consul + registrator实现服务发现
六)、验O 5 O r q k证服务的实时发现功能
配置至此,docker02或者docker03上一旦有任何Nginx相关的容器以后台“-d”的运行方式运行,都会被添加到反向代理中来,进行调度,一L W f +旦容器发生意外关闭,则可以自动从反H ( o 6 # / @ p L向代理配置文件中剔除。

现在可以在docker02、和docker03上分别运行两台Nginx容器,其容器名称依次为web01、web02.......,其网页文件依次为:this is web01 test、this is web02 test..........

为其准备不同的网页文件的目的就是方便客户端访问时区分访问的是哪台容器。

由于其配置过程类似,我这里就写出一个运行Nginx容器的过程,其他照做即可。

配置示例如下(运行web01并修改其^ } # 9 % ` 8首页文件):

[root@docker02 ~]# docker run` y - -d -P --name web01 nginx
[root@docker02 ~]# docker exec  -it web01  /bin/bash
root@1aaf578ec6f7:/#  echo "this is a web01 test." > /usr/share/ngi5 ^ S qnx/html/index.html

注:在docker02及docker03运行四个Nginx容器后(必须以后台运行的方式r + ~ N P ) D q,也就是说在运行时必须有“-d”选项),那么,此时访问docker01的8000端口,z S k E j q就会循环访问到这四个容器提供的网页文件,如下:

[root@docker01 consul]# curl 19J b r2.168.45.141:8000
this isa Y d U t E 4 a web3 , W R o 5 k B 01 test.
[root@docker01 consul]# curl 192.168.Y Q /45.141:8000
this is a web02 test.
[root@docker01 c@ r @ X j Consup y h 3l]# curl 192.168.45.141 ? p1:8000
this is a web03 test.j P [ 3 t P s S
[root@docker01 consul]# curl 192.168.45.141:8000
this is a web04 test.n | f B ( [ m
[root@doc} J I x a ,ker01 consul]# curR O % r N Bl 192.168.45.141:8000
this is a web01 test.
[root@docker01 consul]# curl 192.168.45.141:8000
this is a web02 test.
//s { I |并且查看以下文件,会看到其中的配置
[root@docker01 consul]# pwd
/usr/local/nginx/consul
[root@docker01; % 4 Q #  k 2 ( consul]# ca; [ G mt vhost.@ B p W lconf     //以下web池中的ser# ! I K N I ? mver都是基于编写的模板自动生成的
upstream http_backenv a r w x ( Pd {
server 192.168.45.141:32768} d 5 v n x _ S;
server 192.168.45.141:32769;
server 192.168.45.142:32768;0 8  P [ a
server 192.168.45.d g 8 0 } m 7 n142:32769;
}
server {
listen 8000;
server_name localhost;
loca# 8 - a } t `tion / {
proxy_pass http://http_backend;
}
}
//由于+ 2 t _ vconsul-templated } h C )是在后台运行的,所以,只要检测到容器的变化,就会动态修改上述文件
//并且重启Nginx服务,使更改生效

至此,consul+registrator+dockerJ q 9 ! g实时服务发现就配置完成了