分布式文件系统和企业级应用 ——rsync远程同步

rsync介绍

  1. rsync(Remote Sync,远程同步)是一个开源的快速备份工具,可以在不同主机之间镜像同步整个目录树,支持增量备份,并保持链接和权限,且采用优化的同步算法,传输前执行压缩,因此非常适用于异地备份、镜像服务器等应用
  2. rsync的官方站点的网址是 http://rsync.samba.org/,目前最新版本是3vimiy.1.3vimiy,由 Wayne Davison 进行维护。作为一种最常服务器系统用的文html简单网页代码件备份工具,rsync往往是Linux和UNIX系统默认安装的基本组件之一

rsync下行/拉取流程

  1. 在远程同步任务中,负责发起rsync同步操作的客户机称为发起端,而负责响应来自客html代码户机的rsync同步操作的服务器称为同步源。
  2. 在同步过程linux系统安装系统运维工资一般多少,同步源负责提供文件的原始位置,发起端应对该位置具有读取权限

    例:
    A服务器同步B服务器的数系统运维工作内容据,B服务器就是备份源
    反过来,B服务器同步A服务器的数据,那么A服务器就是备份源

配置rsync下行同步

1、基本思路

  • 建立rsyncd.linux删除文件命令conf配置文件、独立的rsunc账号文件
  • 启用rsync的 --daemon模式
    2、配置文件rsyncd.conf
  • 服务器证配置auth users、secrets file,不加则为匿名
    3、独立的账号文件
  • 用户名:密码
  • 每行一vim个用户记录
  • 独立的账号数据,不服务器怎么搭建依赖系统账号
    4vimax是什么药、启用rsync服务html网页制作
  • 通过 --daem服务器的作用on独自提供服务,rsync --daemlinux系统on
  • 执行kill $服务器(cat /var/run/rsyncd.pidvimeo官网)关闭服务

rsy服务器nc命令格式

rsync [选项]  原始位置   目标位置
常用选项 说明
-r 递归模式,包含目录及子目录中的所有文件
-l 对于符号链接文件仍然复制为html标签属性大全符号链接文件
-v 显示同步过程的详细linux操作系统基础知识信息
-z 在传输文件时进行压缩
-a 归档模式,递归并保留对象属性,等同于-rlptgoD
-p 保留文件的权限标记
-t 保留文件的时间标记
-g 保留文件的属组标记(仅超级用户使用)
-o 保留文件的属主标记(仅超级用户使用)
-H 保留硬链接文件
-A 保留ACL属性信息
-D 服务器配置留设备文件及其他特殊文件
--delet系统运维工作内容e 删除目标位置有而原始位置没有的文件
--checksum 根据对象的校验和来决定是否跳过文件
--checksum 根据对服务器内存条和普通内存条区别象的校验和来决定是否跳过文件
--paslinuxsword-file=file 从file中得到密码,用于免交互处理,file文件的权限要是600

2. 配置rsync发起端测试备份Slave(192vimate.16vimos8.163.20)

将指定的资源下载到本地/opt目录下进行备份

格式一:用户名@主机地址::共享模块名
rsync -avz backuper@192.168.163.10::wwwroot /opt/ #密码123456
格式二:rsync://用户名@主机地址/共享模块名
rsync -avz rsync://backuper@192.168.163.10/wwwroot /opt/

免交互格式

echo "密码" > /etc/密码文件
chmod 600 /etc/密码文件
#设置周期性任务
crontab -e
30 22 * * * /usr/bin/rsync -az --delete --password-file=/etc/密码文件 backuper@192.168.163.10::wwwroot /opt
systemctl restart crond
systemctl enable crond

rsync上行/推送流程

  1. Linux内核从 2.6.13 版本开始提供了inotify通知接口,用来监控文件系统的各种变化情服务器租用多少钱一年况,如文服务器件存取、删除、移动、修改等。利用这一机制,可以非常方便地实现文件异动告警、 增量备份,并针对目录或文件的变化及时作出响应
  2. 将inotify机制与rsync工具相结合,可以实现触发式备份(实时同步)——只要原linux始位 置的文档发生变化,则立即启动增量备份操作;否则处于vim编辑器静默等待状态,这样,就避免了按固定周期备份时存linux系统安装在的延迟性、周期过密等问题vimax是什么药
  3. 因为inotify通知机制由linux内核提供,因此主要做本机监控,在触发式备份中应用时更适合上行同步


                                            分布式文件系统和企业级应用 ——rsync远程同步

1. 调整inotify内核参数(优化)

/etc/sysctl.conf(内核参数配置文件),需要配置
1)max_queue_events :监控事件队列大小
2)max_user_instances :最多监控实例
3)max_user_watches :每个实例最多监控文件数
4)配置的监控数量应该大于监控目标的总文件数
例如:
vim /etc/sysctl.conf
max_queue_events = 16384
max_user_instances = 1024
max_user_watches = 1048576

2. 使用inotify-tools辅助工具

1)用inotify机制还需要安装 inotify-tools,以便提供 inotifywait、inotifywatch 辅助工具程序。
2)notifywait:可监控modify(修改)、create(创建)、move(移动)、delete(删除)、attrib(属性更改)等各种事件,一有变动立即输出结果。
3)inotifywatch:可用来收集文件系统变动情况,并在运行结束后输出汇总的变化情况
例:
inotifywait -mrq -e modify,create,attrib,move,delete 文件或目录
   #参数解释#
-m  持续进行监控
-r  递归监控所有子对象
-q  简化输出信息
-e  指定要监控哪些事件类型
modify  修改
create  创建
attrib  属性更改
move    移动
deletc  删除

3. 编写触发式脚本html标签属性大全(客户端)

vim /opt/inotify_rsynx.sh
#!/bin/bash
#定义两个变量:监控文件,执行备份
INOTIFY_CMD="inotifywait -mrq -e create,delete,move,modify,attrib /var/www/html/" 需要监控的目录或文件"
RSYNC_CMD="rsync -azH --delete --password-file=/etc/1.pass /var/www/html/   backuper@192.168.163.10::wwwroot/"   密码文件 刚才监控的目录或文件 用户名@主机地址::共享模块名"
 #while read获取监控结果
$INOTIFY_CMD | while read DIRECTORY EVENT FILE
do 
    #如果rsync没有运行,执行rsync进行备份操作
    if [ $(pgrep rsync | wc -l) -le 0 ] ; then
        $RSYNC_CMD
    fi
done
chmod +x inotify_rsynx.sh
mkdir -p /var/www/html/
chmod 777 /var/www/html/     
ls -ld /var/www/html/  
chmod +x /etc/rc.d/rc.local
echo "/root/jiankong.sh" >> /etc/rc.d/rc.local

实验

下行同步:将master服务器数据备份到slave服务器 主机 IP地址 安装包
Master 192.168.163.10 rsync
Slave 192.系统运维工作内容168.163.20 rsyvimiync /linux重启命令 inotify-服务器是什么tools-3.14.tar.gz

1. 配置rsync源服务器(192.168.163.10)

1. 关防火墙、安装相应的软件

systemctl stop firewalld.service
setenforce 0
#检查是否安装,一般系统已默认安装rsync
rpm -q rsync
yum -y install rsync


                                            分布式文件系统和企业级应用 ——rsync远程同步

2. 建立/etc/rsyncd.conf 配置文件

  • 如采用匿名的方式,只要将下面配置中的“auth users”和“secrets file”配置项去掉即可
    vim /etc/rsyncd.conf
    uid = root
    gid = root
    use chroot = yes
    address = 192.168.163.10
    port 873
    log file = /var/log/rsyncd.log
    pid file = /var/run/rsyncd.pid
    hosts allow = 192.168.163.0/24
    [wwwroot]
    path = /var/www/html
    comment = Document Root of www.test.com
    read only = yes
    dont comperss = *.gz *.bz2 *.tgz *.zip *.rar *.z
    auth users = backuper lisi
    secrets file = /etc/rsyncd_users.db
    #---------配置解释----------------------------------------------
    uid = root                       
    gid = root                      
    use chroot = yes                    #禁锢在源目录
    address = 192.168.163.10            #监听地址,监听本机地址
    port 873                            #监听端口 tcp/udp 873,可通过cat /etc/services | grep rsync查看
    log file = /var/log/rsyncd.log      #日志文件位置
    pid file = /var/run/rsyncd.pid      #存放进程 ID 的文件位置
    hosts allow = 192.168.163.0/24      #允许同步的客户机网段
    [wwwroot]                           #共享模块名称
    path = /var/www/html                #源目录的实际路径(同步的目录)
    comment = Document Root of www.test.com
    read only = yes                     #是否为只读
    dont compress = *.gz *.bz2 *.tgz *.zip *.rar *.z  #同步时不再压缩的文件类型
    auth users = backuper zhangsan          #授权账户,多个账号以空格分隔
    secrets file = /etc/rsyncd_users.db               #存放账户信息的数据文件

    
                                            分布式文件系统和企业级应用 ——rsync远程同步

3. 为备份账户创建数据文件

  • 无须建立同名系统用户
    
    vim /etc/rsyncd_users.db
    zhangsan:123456

chmod 600 /e服务器租用多少钱一年tc/rsyncd_users.db

![15.png](https://s2.51cto.com/images/20220226/1645856128875846.png?x-oss-process=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=)
![16.png](https://s2.51cto.com/images/20220226/1645856128340640.png?x-oss-process=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=)
### 4. 保证所有用户对源目录/var/www/html(需要备份的文件目录)都有读取权限

yum -y install httpd

chmod +r /var/www/html
ls -ld /var/www/html


![17.png](https://s2.51cto.com/images/20220226/1645856329226274.png?x-oss-process=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=)
### 5. 启动 rsync 服务程序
- 启动 rsync 服务,以独立监听服务的方式(守护进程)运行

rsync --daemon
netstat -natp | grep rsync


![18.png](https://s2.51cto.com/images/20220226/1645856539977504.png?x-oss-process=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=)
### 6. 关闭 rsync 服务

kill $(cat /var/run/html是什么意思rsyncd.pid)
rm -rf /var/run/rsyncd.pid

![19.png](https://s2.51cto.com/images/20220226/1645856873408847.png?x-oss-process=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=)
### 7. 创建文件用于测试

cd /var/www/linux操作系统基础知识html
echo &quvim保存退出命令ot;this is test" >> 1.txt
cat 1.txt


![19.png](https://s2.51cto.com/images/20220226/1645857089184498.png?x-oss-process=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=)
## 1. Slave(192.168.163.20)

systemctl stop firewalld.service
setenfovim编辑器rce 0

yum -y install rsync

cd /opt
mkdir abc
chmod 777 abc

vivim保存退出命令m /etc/server.pass
123456

chmod 600 /etc/server.pass


![20.png](https://s2.51cto.com/images/20220226/1645857613859531.png?x-oss-process=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=)
## 2. 验证
#### 1)Master(192.168.163.10)

cd /var/www/html/
vim 1.html


![21.png](https://s2.51cto.com/images/20220226/1645860914260527.png?x-oss-process=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=)
#### 2)Slave(192.168.163.20)

rsync -az --delete --password-file=/etc/server.pass lilinuxsi@192.168.163.10::wwwroot /opt/abc服务器内存条和普通内存条区别

ls abc


![22.png](https://s2.51cto.com/images/20220226/1645860927123444.png?x-oss-process=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=)
#### 3)加入到计划性任务

企业中不可能手动执行,一般都要使用周期性任务

#设置周期性任务
crontab -e
0 2 * /usr/bin/rsync -az --delete --password-file=/etc/server.pass lisi@192.168.163.10::wwwroot /ovim命令pt/abc

systemctl restart crond
systemctvimatel enable crond


# rsync+inotify实时同步
## 1. Master(192.168.163.10)
- 修改rsync源服务器配置文件

vim /etc/r服务器syncd.conf
#关闭只读,上行html网页制作同步需要可以写
read only = no

#重启服务
kill cat /var/run/rsyncd.pid
netstat -natp | grep rsync
rsync --daemon
netstat -natp | grep rsyn系统运维工作内容c

chmod 777 /var/www/html


![23.png](https://s2.51cto.com/images/20220226/1645862571809100.png?x-oss-process=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=)
![24.png](https://s2.51cto.com/images/20220226/1645862538555328.png?x-oss-process=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=)
## 2. Slave(192.168.163.20)
### 1)调整 inotify 内核参数

max_queue_events(监控事件队列,默认值为16384)
max_user_insta系统运维工资一般多少nces(最多监控实例数,默认值为128)
max_user_watches(每个实例最多监控文件数服务器租用多少钱一年,默认值为8192)
当要监控的目录、文件数量较多或者变化较频繁时,建议加大linux必学的60个命令这三个参数的值。

cat /proc/sys/fs/inotify/max_queued_events
cat /proc/sys/fs/inotify/max_user_instances
cat /proc/sys/fs/inotify/mvim编辑器ax_user_watches

vim /etc/sysctl.conf
fs.inotify.max_queued_events = 17000
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches =vimate 1048576

sysctl -p


![25.png](https://s2.51cto.com/images/20220226/1645863900326537.png?x-oss-process=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=)
![26.png](https://s2.51cto.com/images/20220226/1645863900315352.png?x-oss-process=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=)
![27.png](https://s2.51cto.com/images/20220226/1645863900232281.png?x-oss-process=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=)
### 2)安装 inotify-tools

yum -y install gcc gcc系统/运维-c++ mak服务器租用e

#放入安装包
tar zxvf inotify-tools-3.14.tar.gz -C /opt

cd /opt/inotify-tools-3.14/
./configure && make && make install


![28.png](https://s2.51cto.com/images/20220226/1645864809762865.png?x-oss-process=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=)
![29.png](https://s2.51cto.com/images/20220226/1645864809634081.png?x-oss-process=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=)
### 3)编写触发式同步脚本

vim /opt/inotify_rsync.sh
#!/bihtml标签属性大全n/bash
IN系统运维工资一般多少OTIF系统运维工作内容Ylinux系统安装_服务器是什么CMD="vimeo官网inotifywait -mrq -e create,delete,move,modify,attrib /opt/abc/"
RSYNChtml_CMD="rsync -azH --delete --password-file=/etc/server.pass /opt/abc/服务器地址 zhangsan@192.168.163.10::wwwroot"

$INOTIFY_CMD | while read DIRECTORY EVENT F服务器内存条和普通内存条区别ILE
do
if [ $(pgrep rsync | wc -l) -le 0 ] ; then
$RSYNC_CMD
fi
done

cd /opt/
chmod +x inotify_rsync.sh
. /opt/i服务器租用多少钱一年notify_rsync.sh &

#加入开机自动执行
chmod +x /etc/rc.d/rc.local
echo '/opt/inotify_rsync.shlinux操作系统基础知识' >> /etc/rc.d/rc.local

![30.png](https://s2.51cto.com/images/20220226/1645867064589500.png?x-oss-process=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=)
![31.png](https://s2.51cto.com/images/20220226/1645867064415938.png?x-oss-process=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=)
## 3. 查看上行结果
### 1)Slave(192.168.163.20)

cd /opt/abc
t服务器系统ouch test.html
ls
rm -rf testvimiy.html
ls


### 2)Master(192.168.163.10)

cd /var/www/html
ls


![32.png](https://s2.51cto.com/images/20220226/1645867265509537.png?x-oss-process=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=)
![33.png](https://s2.51cto.com/images/20220226/1645867265970374.png?x-oss-process=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=)
# 使用rsync来实现快速删除大量文件
## 需求
假如要在Linux下删除大量文件,比如100万、1000万,像/usr/local/nginx/proxy_ temp的nginx缓存等,那么rm -rf *可能就不好使了,因为要等待很长一段时间。在这种情况下我们可以使用rsync来巧妙处理。rsync实际用的是替换原理
## 步骤
### 1. 建立一个空的文件夹并添加文件

mkdir /root/blank #空文件夹
mkdir /opt/test
cd /opt/test
touch {1html是什么意思..1000}.txt #模拟大缓存文件

![34.png](https://s2.51cto.com/images/20220226/1645867694921541.png?x-oss-process=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=)
### 2. 用rsync删除目标目录

rsy系统运维工作内容nc --delete-before -a -H -v --系统/运维prog服务器系统ress --stats /linuxroot/blank/ /op服务器租用t/test #这样目标目录很快就被清空了

ls /opt/test


![35.png](https://s2.51cto.com/images/20220226/1645867907382001.png?x-oss-process=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=)
![36.png](https://s2.51cto.com/images/20220226/1645867907793925.png?x-oss-process=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5naGVpdGk=)