Linux TB级小文件同步备份解决方案

在某些电子档案存储的业务系统下，按照业务场景要求，需要将产生的所有电子影像资料永久存储，并支持备份；因为“钞能力”等原因，一般备份存储只有一个节点（即：一个备份存储服务器）；这样就要求研发工程师，不能采用类似Ceph的集群节点解决方案，只能采用双节点的备份解决方案。

在linux下，常见的小文件双节点文件同步，通常采用rsync这个工具；但Rsync有如下几个问题：

• rsync 在同步数据时，需要扫描所有文件后进行比对，进行差量传输。如果文件数量达到了百万甚至千万量级，扫描所有文件将是非常耗时的，并且正在发生变化的往往是其中很少的一部分，这是十分低效的方式；
• rsync 不能实时监测、同步数据，虽然可以通过 linux 守护进程的方式进行触发同步，但是两次触发动作一定会有时间差，这样就导致了服务端和客户端数据可能出现不一致，无法在应用故障时完全的恢复数据

改进方案，引入inotify工具：inotify 是一种强大的、细粒度的、异步的文件系统事件控制机制。linux 内核从 2.6.13 起，加入了 inotify 支持。通过 inotify 可以监控文件系统中添加、删除、修改、移动等各种事件，利用这个内核接口，第三方软件就可以监控文件系统下文件的各种变化情况，而 inotify-tools 正是实时监控的软件。在使用 rsync 首次全量同步后，结合 inotify 对资源目录进行实时监控，只要有文件变动或新文件产生，就会立刻同步到目标目录下，非常高效实用。

一、安装相关工具（这里以CentOS操作系统为例，Ubuntu安装类似）

# step1、rsync安装
yum -y install rsync

# step2、inotify安装
yum install -y inotify-tools

至此基础环境已经搭建完成，下面简要介绍一下，上面的两个工具的具体用法：

• rsync 常用参数如下：

-v :展示详细的同步信息
-a :归档模式，相当于 -rlptgoD
-r :递归目录
-l :同步软连接文件
-p :保留权限
-t :将源文件的"modify time"同步到目标机器
-g :保持文件属组
-o :保持文件属主
-D :和--devices --specials一样，保持设备文件和特殊文件
-z :发送数据前，先压缩再传输
-H :保持硬链接
-n :进行试运行，不作任何更改
-P same as --partial --progress
    --partial :支持断点续传
    --progress :展示传输的进度
--delete :如果源文件消失，目标文件也会被删除
--delete-excluded :指定要在目的端删除的文件
--delete-after :默认情况下，rsync是先清理目的端的文件再开始数据同步；如果使用此选项，则rsync会先进行数据同步，都完成后再删除那些需要清理的文件。
--exclude=PATTERN :排除匹配PATTERN的文件
--exclude-from=FILE :如果要排除的文件很多，可以统一写在某一文件中
-e ssh :使用SSH加密隧道传输

• inotify常用参数如下：

# 1、inotifywait 参数说明：
-m,–monitor：始终保持事件监听状态   # 重要参数
-r,–recursive：递归查询目录     # 重要参数
-q,–quiet：只打印监控事件的信息     # 重要参数
–excludei：排除文件或目录时，不区分大小写
-t,–timeout：超时时间
–timefmt：指定时间输出格式  # 重要参数
–format：指定时间输出格式       # 重要参数
-e,–event：后面指定删、增、改等事件 # 重要参数

# 2、inotifywait events事件说明：
access：读取文件或目录内容
modify：修改文件或目录内容
attrib：文件或目录的属性改变
close_write：修改真实文件内容   # 重要参数
close_nowrite：文件或目录关闭，在只读模式打开之后关闭的
close：文件或目录关闭，不管读或是写模式
open：文件或目录被打开
moved_to：文件或目录移动到
moved_from：文件或目录从移动
move：移动文件或目录移动到监视目录  # 重要参数
create：在监视目录下创建文件或目录  # 重要参数
delete：删除监视目录下的文件或目录  # 重要参数
delete_self：文件或目录被删除，目录本身被删除
unmount：卸载文件系统

# 使用示例：
# 文件创建事件监控：
inotifywait -mrq  /data --timefmt "%d-%m-%y %H:%M" --format "%T %w%f 事件信息: %e" -e create

# 文件删除事件监控
inotifywait -mrq  /data --timefmt "%d-%m-%y %H:%M" --format "%T %w%f 事件信息: %e" -e delete

# 文件修改事件监控
inotifywait -mrq  /data --timefmt "%d-%m-%y %H:%M" --format "%T %w%f 事件信息: %e" -e close_write

二、相关Shell脚本实现（主服务器上）

#!/bin/bash

# 数据所在路径
path=/home/img_data
# 备份服务器地址
server=192.168.0.2
user=root
module=sync_file

monitor() {
  # 此处为了降低cpu使用率，只监控新建的文件 若是要考虑 删除 或 修改的文件，可以使用,close_write,delete
  /usr/bin/inotifywait -mrq --format '%w%f' -e create $1 | while read line; do
    if [ -f $line ]; then
      rsync -avz $line --delete ${user}@${server}::${module} --password-file=/etc/rsyncd.pass
    else
      cd $1 &&
        rsync -avz ./ --delete ${user}@${server}::${module} --password-file=/etc/rsyncd.pass
    fi
  done
}

monitor $Path;

相关问题，欢迎留言提问；欢迎大家点赞、关注、加收藏~