Rsync是Linux系统下的数据镜像备份工具，使用快速增量备份工具Remote Sync可以远程同步，可以在不同主机之间进行同步，可实现全量备份与增量备份，保持链接和权限，传输前执行压缩，因此非常适合用于架构集中式备份或异地备份等应用。

与SCP的比较：scp无法备份大量数据，类似Windows的复制。

而rsync边复制，边统计，边比较。

1.可以镜像保存整个目录树和文件系统。

2.可以很容易做到保持原来文件的属性、权限、时间、软硬链接等等。

3.无须特殊权限即可安装。

4.快速：第一次同步时 rsync 复制全部内容，但在下一次只传输修改过的文件。

5.压缩传输：rsync 在传输数据的过程中可以实行压缩及解压缩操作，因此可以使用更少的带宽。

6.安全性：可以使用scp、ssh等方式来传输文件，当然也可以通过直接的socket连接。选择性保持：符号连接，硬链接，文件属性，权限，时间等。

1.运行模式和端口：

采用C/S模式（客户端/服务器模式）[ 实际上是一个点到点的传输，直接使用rsync命令即可完成 ]

rsync监听的端口：873

2.四个名词的解释：

发起端：负责发起rsync同步操作的客户机叫做发起端，通知服务器我要备份你的数据。

备份源：负责响应来自客户机rsync同步操作的服务器叫做备份源，需要备份的服务器。

服务端：运行rsyncd服务，一般来说，需要备份的服务器。

客户端：存放备份数据。

3.数据同步方式：

推push：一台主机负责把数据传送给其他主机，服务器开销很大，比较适合后端服务器少的情况。

拉pull：所有主机定时去找一台主机拉数据，可能就会导致数据缓慢。

推：目的主机配置为rsync服务器，源主机周期性的使用rsync命令把要同步的目录推过去（需要备份的机器是客户端，存储备份的机器是服务端）。

拉：源主机配置为rsync服务器，目的主机周期性的使用rsync命令把要同步的目录拉过来（需要备份的机器是服务端，存储备份的机器是客户端）。

两种方案，rsync都有对应的命令来实现。

rsync命令示例说明push和pull

实战：使用rsync进行数据同步

rsync命令的基本用法：

格式：rsync 【选项】 源文件 目标文件

常见的选项：

-a，–archive(存档) 归档模式，表示以递归的方式传输文件，并且保持文件属性，等同于加了参数-rlptgoD

-v：显示rsync过程中详细信息。

-r，–recursive 对子目录以递归模式处理

-l,–links 表示拷贝链接文件

-p , –perms 表示保持文件原有权限

-t , –times 表示保持文件原有时间

-g , –group 表示保持文件原有属用户组

-o , –owner 表示保持文件原有属主

-D , –devices 表示块设备文件信息

-z , –compress 表示压缩传输

-H 表示硬连接文件

-A 保留ACL属性信息

-P 显示传输进度

–delete 删除那些目标位置有而原始位置没有的文件

例：

rsync  –delete  /原始位置

（要同步的数据）    192.168.1.64:/目标位置

实战1： 

备份xuegod63的/var/www/html 目录到xuegod64的/web-back。

开始备份：

xuegod63： 创建用于测试的数据

常见的选项：

-a，–archive(存档) 归档模式，表示以递归的方式传输文件，并且保持文件属性，等同于加了参数-rlptgoD

-z , –compress 表示传输前压缩

-P 显示传输进度

–delete 删除那些目标位置有而原始位置没有的文件，保障源文件和目标文件一致

实战2： 使用ssh密钥实现无交互备份。做成脚本，将xuegod63上的数据，定期备份到xuegod64上。

在xuegod63上生成密钥对

Enter file in which to save the key (/root/.ssh/id_rsa): #直接回库

Enter passphrase (empty for no passphrase): #直接回库

Enter same passphrase again:  #直接回库

Your identification has been saved in /root/.ssh/id_rsa.

Your public key has been saved in /root/.ssh/id_rsa.pub.

The key fingerprint is:

The key’s randomart image is:

+–[ RSA 2048]—-+

|       ..  .+.  |

|    . .  . . .  |

|   . o    . .  |

|    o  .   .  |

|   o .o S .  |

|  o oo.o o  |

|   = .o.. +  |

|  o o. ..o   |

|   .  E..   |

+——————-+

查看生成的公钥和私钥：

id_rsa（私钥）  id_rsa.pub（公钥）

known_hosts

将公钥上传到xuegod64 数据源

方法1：

相当于你执行了：

方法2：

查看：

测试，不输密码直接登录：

测试，不输密码直接备份：

ctrl+r可以搜索历史命令快速调到前台执行

实验拓扑：

xuegod63（源主机192.168.1.63）

xuegod64（目标主机 192.168.1.64）

需要关闭selinux，否则即使创建/etc/rsyncd.conf文件之后去启动服务也不会生效。

-a：–archive archive mode 权限保存模式，相当于 -rlptgoD 参数，存档，递归，保持属性等。

-z：–compress 压缩模式，当资料在传送到目的端进行档案压缩。

-H：–hard-links 保留硬链接文件。

–version：输出rsync版本。

-v：–verbose 复杂的输出信息。

-u：–update 仅仅进行更新，也就是跳过已经存在的目标位置，并且文件时间要晚于要备份的文件，不覆盖新的文件。

–port=PORT：定义rsyncd(daemon)要运行的port(预设为tcp 873)。

–delete：删除那些目标位置有的文件而备份源没有的文件。

–password-file=FILE ：从 指定密码文件中获取密码。

–bwlimit=KBPS：限制 I/O 带宽。

–filter “-filename”：需要过滤的文件。

–exclude=filname：需要过滤的文件。

–progress：显示备份过程。

通常常用的选项 –avz

对xuegod63网站根目录的/var/www/html目录备份到xuegod64的/web-back 。

服务器：xuegod63

客户端：xuegod64

1.建立测试用户（两台主机都需要操作）：

更改用户 rget1 的密码 。

passwd：所有的身份验证令牌已经成功更新。

更改用户 rget1 的密码 。

passwd：所有的身份验证令牌已经成功更新。

2.对目录赋予ACL权限：

3.创建测试数据：

4.服务端上操作：

The authenticity of host ‘192.168.0.64 (192.168.0.64)’ can’t be established.

ECDSA key fingerprint is

SHA256:NN12lfXOanqEZuFwR2k6PEtsUyliHoiMPXgM2RQ0n7E.

ECDSA key fingerprint is MD5:da:20:18:a8:41:bb:33:0e:8f:87:2c:8a:33:fe:ea:3a.

Are you sure you want to continue connecting (yes/no)? yes  #输入yes。

Warning: Permanently added ‘192.168.0.64’ (ECDSA) to the list of known hosts.

[email protected]’s password:   #输入rget1用户密码。

sending incremental file list

./

sent 29 bytes  received 15 bytes  3.03 bytes/sec

total size is 0  speedup is 0.00

实验开始之前首先客户端服务器端关闭防火墙firewalld否则实验失败：

使用非系统用户进入备份数据，依靠系统中的rsync配置文件/etc/rsyncd.conf进行备份数据，并创建备份账户，最终把rsync以deamon方式运行。

1.rsyncd.conf配置文件：

配置文件分为两部分：全局参数、模块参数。

全局参数：对rsync服务器生效，如果模块参数和全局参数冲突，冲突的地方模块参数最终生效。

模块参数：定义需要通过rsync输出的目录定义的参数。

（1）常见的全局参数：

port：指定后台程序使用的端口号，默认为873。

uid：该选项指定当该模块传输文件时守护进程应该具有的uid，配合gid选项使用可以确定哪些可以访问怎么样的文件权限，默认值是” nobody”。

gid：该选项指定当该模块传输文件时守护进程应该具有的gid。默认值为” nobody”。

max connections：指定该模块的最大并发连接数量以保护服务器，超过限制的连接请求将被告知随后再试。默认值是0，也就是没有限制。

lock file：指定支持max connections参数的锁文件，默认值是/var/run/rsyncd.lock。

motd file：” motd file”参数用来指定一个消息文件，当客户连接服务器时该文件的内容显示给客户，默认是没有motd文件的。

log file：” log file”指定rsync的日志文件，而不将日志发送给syslog。

pid file：指定rsync的pid文件，通常指定为“/var/run/rsyncd.pid”，存放进程ID的文件位置。

hosts allow：单个IP地址或网络地址，允许访问的客户机地址。

（2）常见的模块参数：

主要是定义服务器哪个要被同步输出，其格式必须为“ [ 共享模块名 ]” 形式，这个名字就是在 rsync 客户端看到的名字，其实很像 samba 服务器提供的共享名。而服务器真正同步的数据是通过 path 来指定的。

Comment：给模块指定一个描述，该描述连同模块名在客户连接得到模块列表时显示给客户。默认没有描述定义。

path：指定该模块的供备份的目录树路径，该参数是必须指定的。

read only：是否为只读模式true/false。true无法上传写入。

exclude：用来指定多个由空格隔开的多个文件或目录(相对路径)，将其添加到exclude列表中。这等同于在客户端命令中使用―exclude或—-filter来指定某些文件或目录不下载或上传（既不可访问）

exclude from：指定一个包含exclude模式的定义的文件名，服务器从该文件中读取exclude列表定义，每个文件或目录需要占用一行

include：用来指定不排除符合要求的文件或目录。这等同于在客户端命令中使用–include来指定模式，结合include和exclude可以定义复杂的exclude/include规则。

include from：指定一个包含include模式的定义的文件名，服务器从该文件中读取include列表定义。

auth users：该选项指定由空格或逗号分隔的用户名列表，只有这些用户才允许连接该模块。这里的用户和系统用户没有任何关系。如果” auth users”被设置，那么客户端发出对该模块的连接请求以后会被rsync请求challenged进行验证身份这里使用的challenge/response认证协议。用户的名和密码以明文方式存放在” secrets file”选项指定的文件中。默认情况下无需密码就可以连接模块（也就是匿名方式）。

secrets file：该选项指定一个包含定义用户名:密码对应的文件。只有在” auth users”被定义时，该文件才有作用。文件每行包含一个username:passwd对。一般来说密码最好不要超过8个字符。没有默认的secures file名，注意：该文件的权限一定要是600，否则客户端将不能连接服务器。

hosts allow：指定哪些IP的客户允许连接该模块。定义可以是以下形式：

单个IP地址，例如：192.167.0.1，多个IP或网段需要用空格隔开。

整个网段，例如：192.168.0.0/24，也可以书写为192.168.0.0/255.255.255.0

“*”则表示所有，默认是允许所有主机连接。

hosts deny：指定不允许连接rsync服务器的机器，可以使用hosts allow的定义方式来进行定义。默认是没有hosts deny定义。

list：该选项设定当客户请求可以使用的模块列表时，该模块是否应该被列出。如果设置该选项为false，可以创建隐藏的模块。默认值是true。

timeout：通过该选项可以覆盖客户指定的IP超时时间。通过该选项可以确保rsync服务器不会永远等待一个崩溃的客户端。超时单位为秒钟，0表示没有超时定义，这也是默认值。对于匿名rsync服务器来说，一个理想的数字是600。

实战：使用rsync服务进行数据同步。

用配置文件定义目录输出。

服务器：xuegod64

客户端：xuegod63

注意： #会出现因注释不兼容的问题而导致推数据时出现报错，配置文件需取消注释或者注释进行换行处理。

创建提示文件和用户密码。

#编辑欢迎信息文件。

#密码文件权限必须是700或者600，否则的话身份验证会失效。

重新启动服务

测试

rsync语法：rsync 选项 用户名@备份源服务器IP::共享模块名 目标目录

密码处理

新建一个文件保存好密码，然后在rsync命令中使用–password-file指定此文件即可

实时备份/同步    触发式同步

一台装sersync、一台装rsync服务

sersync服务器（数据源，源机器）：192.168.1.63

rsync客户端（备份端，目标机器）：192.168.1.64

rsync+inotify-tools与rsync+sersync架构的区别？

rsync+inotify-tools

inotify只能记录下被监听的目录发生了变化（增，删，改）并没有把具体是哪个文件或者哪个目录发生了变化记录下来。

rsync在同步的时候，并不知道具体是哪个文件或目录发生了变化，每次都是对整个目录进行同步，当数据量很大时，整个目录同步非常耗时（rsync要对整个目录遍历查找对比文件），因此效率很低。

rsync+sersync

sersync可以记录被监听目录中发生变化的（增，删，改）具体某个文件或目录的名字。

rsync在同步时，只同步发生变化的文件或目录（每次发生变化的数据相对整个同步目录数据来说很小，rsync在遍历查找对比文件时，速度很快），因此效率很高。

同步过程和原理：

1.用户实时的往sersync服务器上写入更新文件数据。

2.此时需要在同步主服务器上配置sersync服务。

3.在另一台服务器开启rsync守护进程服务，以同步拉取来自sersync服务器上的数据。

4.在另一台服务器开启rsync守护进程服务，使sersync push文件过来。

通过rsync的守护进程服务后可以发现，实际上sersync就是监控本地的数据写入或更新事件，然后，在调用rsync客户端的命令，将写入或更新事件对应的文件通过rsync推送到目标服务器，如图 2-3 所示。

1.在google code下载sersync的可执行文件版本，里面有配置文件与可执行文件

wget

https://sersync.googlecode.com/files/sersync2.5.4_64bit_binary_stable_final.tar.gz

#有时下载失败，所有要本地留存一份

2.上传到服务器 /opt目录下。

1.更改优化sersync配置文件：

2.开启sersync守护进程同步数据。

测试

在63 /var/www/html/ 目录 增加、删除、或改目录文件。

看64 /web-back 目录的变化

设置sersync监控开机自动执行

添加脚本监控sersync是否正常运行